最小二乘法和梯度下降法有哪些區(qū)別？我也在學習機器學習。我想出了一個簡單的解釋。我不知道這是否正確。數(shù)學考試前，如果是選擇題，有兩種解題方法，一種是用公式正常解。一種機會主義，有選擇的嘗試，被稱為法律。

最小二乘法和梯度下降法有哪些區(qū)別？

我也在學習機器學習。我想出了一個簡單的解釋。我不知道這是否正確。

數(shù)學考試前，如果是選擇題，有兩種解題方法，一種是用公式正常解。一種機會主義，有選擇的嘗試，被稱為法律。

最小二乘法是正解。梯度下降是引入的方法。

梯度下降法和隨機梯度下降法的區(qū)別？

梯度下降算法是一個寬泛的概念，意思是：當你優(yōu)化一個函數(shù)/分類器時，如何減少它的誤差？你不妨選擇梯度下降的方向，這很可能是最好的方向。既然你知道方向是梯度，你要走多久？答案是：隨機的。因此，梯度下降算法包括隨機梯度下降算法。

梯度下降法與牛頓類算法各自的的優(yōu)缺點有哪些？

在二次規(guī)劃理論中，牛頓法可以一步解決問題，而梯度法肯定不止一步，對于Hessian矩陣的最大和最小特征值相差很大的二次規(guī)劃，梯度法的收斂效果很差，且收斂速度慢溶液不斷振蕩