牛頓法，擬牛頓法，共軛梯度法各自的優(yōu)缺點(diǎn)是什么？牛頓法需要函數(shù)的一階和二階導(dǎo)數(shù)信息，即它涉及Hesse矩陣，包括矩陣求逆運(yùn)算。雖然收斂速度快，但運(yùn)算量大。擬牛頓法是利用某種方法構(gòu)造一個類似于Hesse

牛頓法，擬牛頓法，共軛梯度法各自的優(yōu)缺點(diǎn)是什么？

牛頓法需要函數(shù)的一階和二階導(dǎo)數(shù)信息，即它涉及Hesse矩陣，包括矩陣求逆運(yùn)算。雖然收斂速度快，但運(yùn)算量大。

擬牛頓法是利用某種方法構(gòu)造一個類似于Hesse矩陣的正定矩陣，這種構(gòu)造方法比牛頓法計(jì)算量??；共軛梯度法的基本思想是將共軛性質(zhì)與最速下降法相結(jié)合，利用最速下降法構(gòu)造一組共軛方向已知點(diǎn)的梯度，并沿著這組方向搜索元素，找到目標(biāo)函數(shù)的最小點(diǎn)。根據(jù)共軛方向的基本性質(zhì)，該方法計(jì)算量小，收斂速度快。

怎樣由最速下降法變成牛頓法？

最速下降法的迭代點(diǎn)在逼近最小點(diǎn)的過程中采用鋸齒形路徑，容易產(chǎn)生鋸齒現(xiàn)象，導(dǎo)致每次迭代的距離越來越小，收斂速度不快。如果目標(biāo)函數(shù)具有連續(xù)的二階偏導(dǎo)數(shù)，牛頓法可以快速收斂到問題的最小點(diǎn)。