如果你是一個面試者，怎么判斷一個面試官的機器學(xué)習(xí)水平？如何估算神經(jīng)網(wǎng)絡(luò)的最優(yōu)學(xué)習(xí)率？。具體來說，目前主流的神經(jīng)網(wǎng)絡(luò)模型采用梯度下降算法進(jìn)行訓(xùn)練，或?qū)W習(xí)參數(shù)。學(xué)習(xí)速率決定權(quán)重在梯度方向上成批移動的距離。

如果你是一個面試者，怎么判斷一個面試官的機器學(xué)習(xí)水平？

如何估算神經(jīng)網(wǎng)絡(luò)的最優(yōu)學(xué)習(xí)率？

。

具體來說，目前主流的神經(jīng)網(wǎng)絡(luò)模型采用梯度下降算法進(jìn)行訓(xùn)練，或?qū)W習(xí)參數(shù)。學(xué)習(xí)速率決定權(quán)重在梯度方向上成批移動的距離。理論上，學(xué)習(xí)率越高，神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)速度越快。但是，如果學(xué)習(xí)速率過高，可能會“穿越”損失函數(shù)的最小值，導(dǎo)致收斂失敗。

上圖左邊是高學(xué)習(xí)率，右邊是低學(xué)習(xí)率，來源：mikkel Duif（quora）

那么，如何找到最佳學(xué)習(xí)率？

方法。但是，這種方法的初始學(xué)習(xí)率（上例中為0.1）不應(yīng)該太高。如果初始學(xué)習(xí)率太高，可能會“穿越”最優(yōu)值。

另外，還有另外一種思路，就是逆向操作，從學(xué)習(xí)率很低開始，每批之后再提高學(xué)習(xí)率。例如，從0.00001到0.0001，再到0.001，再到0.01，再到0.1。這個想法背后的直覺是，如果我們總是以很低的學(xué)習(xí)率學(xué)習(xí)，我們總是可以學(xué)習(xí)到最好的權(quán)重（除非整個網(wǎng)絡(luò)架構(gòu)有問題），但它將非常緩慢。因此，從一個很低的學(xué)習(xí)率開始，我們可以肯定地觀察到損失函數(shù)的下降。然后逐漸加大學(xué)習(xí)率，直到學(xué)習(xí)率過高，導(dǎo)致發(fā)散。該方法還避免了上述方法初始學(xué)習(xí)率過高，一次“穿越”最優(yōu)值的隱患。這是Leslie n.Smith在2015年的論文《訓(xùn)練神經(jīng)網(wǎng)絡(luò)的循環(huán)學(xué)習(xí)率》中提出的方法。

機器學(xué)習(xí)中的目標(biāo)函數(shù)，損失函數(shù)，代價函數(shù)有什么區(qū)別？

你可以認(rèn)為它們在本質(zhì)上是一致的。它們都把相似的樣本歸為一類，把不同的樣本分開。

可能有不同的方法，如距離測量或目標(biāo)函數(shù)，例如，多元統(tǒng)計中可能使用一些方差分析方法。但目的是一樣的，方法是相互聯(lián)系的。例如，您可以將基本的系統(tǒng)聚類方法視為機器學(xué)習(xí)中的層次聚類，等等。