機器學(xué)習(xí)為什么會使用梯度下降法？另外，在神經(jīng)網(wǎng)絡(luò)（非凸問題）的訓(xùn)練中，大多采用梯度下降法。梯度下降法和擬牛頓法可以用來訓(xùn)練logistic回歸（凸問題）模型。在機器學(xué)習(xí)任務(wù)中，必須最小化損失函數(shù)L（θ

機器學(xué)習(xí)為什么會使用梯度下降法？

另外，在神經(jīng)網(wǎng)絡(luò)（非凸問題）的訓(xùn)練中，大多采用梯度下降法。梯度下降法和擬牛頓法可以用來訓(xùn)練logistic回歸（凸問題）模型。

在機器學(xué)習(xí)任務(wù)中，必須最小化損失函數(shù)L（θ）Lleft（thetaright）L（θ），其中θthetaθ是要求解的模型參數(shù)。梯度下降法和牛頓/擬牛頓法都是迭代法。梯度下降法是梯度法，而牛頓法/擬牛頓法是由二階Hessian矩陣的逆矩陣或偽逆矩陣求解的。

比較了梯度下降法和牛頓法。因為微積分的本質(zhì)是研究“量”與“量變”的關(guān)系。我們感興趣的大多數(shù)數(shù)量，比如位置和速度，比如GDP、人口和壽命，都是不斷變化的。為了研究它們之間的關(guān)系，我們經(jīng)常使用一些數(shù)學(xué)模型，其中包含了大量的微分方程，自然是微積分學(xué)的重要基礎(chǔ)。

沒有微積分，世界仍然是黑暗的。

具體來說，微積分廣泛應(yīng)用于各行各業(yè)。

物理學(xué)不言而喻，牛頓發(fā)明微積分是為了用微分方程來描述物理世界的現(xiàn)象。微積分必須應(yīng)用于任何工程領(lǐng)域。通常，你需要計算體積，面積和壓力。

在經(jīng)濟學(xué)中，各種預(yù)測模型都是微分方程。還有著名的博弈論，它運用了大量的高等數(shù)學(xué)，遠(yuǎn)遠(yuǎn)超過微積分。

在金融領(lǐng)域，現(xiàn)在很多人從事“數(shù)量交易”，他們不得不用微積分來計算期權(quán)定價和各種衍生金融產(chǎn)品。光靠微積分是不夠的。我們需要添加更先進(jìn)的工具，如“隨機過程”來處理可變的“風(fēng)險”。

保險。計算人們的預(yù)期壽命，各種事故發(fā)生的概率，從而計算出應(yīng)該設(shè)定多少保費。太高了，買不起。太低了，賣不出去。微積分和概率論是標(biāo)準(zhǔn)的。

在過去兩年中，“機器學(xué)習(xí)”或“人工智能”（事實上，它們都是類似的東西），比如alphago，它在下棋方面非常強大，它包含了一個很深的神經(jīng)網(wǎng)絡(luò)（40層）。這個網(wǎng)絡(luò)是一個非常復(fù)雜的函數(shù)，其中有許多參數(shù)（數(shù)億），需要對這些參數(shù)進(jìn)行訓(xùn)練。訓(xùn)練的方法本質(zhì)上是梯度下降法，這也是微積分中的一種方法。

你有沒有注意到上面提到的行業(yè)實際上是非常有利可圖的。

有些人可能會認(rèn)為微積分和《天書》一樣，是關(guān)于現(xiàn)實世界中不存在的東西，而只存在于理論世界中的東西。在學(xué)習(xí)和考試之后，他們都把它還給了老師。但這是完全錯誤的。世界上有許多抽象而乏味的行業(yè)，但它們可能是有利可圖的行業(yè)。有很多微積分，概率論和高等代數(shù)。在一些更復(fù)雜的行業(yè)，數(shù)學(xué)可能更先進(jìn)。學(xué)習(xí)微積分、概率論等高級知識，再加上應(yīng)用領(lǐng)域的知識（如經(jīng)濟學(xué)、程序設(shè)計等），絕對是踏入小康、甚至致富的非?？煽康氖侄?/p>

微積分我們很少用到，為什么還要學(xué)呢？

我認(rèn)為這種理解并不全面。首先，算法的核心是如何利用抽象的數(shù)學(xué)模型來解決這個實際問題，而實現(xiàn)的手段是通過代碼編程，所以算法的核心是數(shù)學(xué)，基本上是精確的。但是說數(shù)學(xué)是一種算法是一個大問題。數(shù)學(xué)涉及面很廣。它是一個自洽系統(tǒng)。隨著人類認(rèn)識水平的提高，數(shù)學(xué)也在不斷發(fā)展，許多新的數(shù)學(xué)工具被開發(fā)出來幫助我們解決實際問題。

因此，如果數(shù)學(xué)是它背后的真理理論，那么算法就是用部分真理來幫助我們解決一些具體問題。這是我的理解。