機(jī)器學(xué)習(xí)中L1正則化和L2正則化的區(qū)別？L1正則化假設(shè)參數(shù)的先驗(yàn)分布為拉普拉斯分布，可以保證模型的稀疏性，即某些參數(shù)等于0；L2正則化假設(shè)參數(shù)的先驗(yàn)分布為高斯分布，可以保證模型的穩(wěn)定性，即，參數(shù)值不會(huì)

機(jī)器學(xué)習(xí)中L1正則化和L2正則化的區(qū)別？

L1正則化假設(shè)參數(shù)的先驗(yàn)分布為拉普拉斯分布，可以保證模型的稀疏性，即某些參數(shù)等于0；L2正則化假設(shè)參數(shù)的先驗(yàn)分布為高斯分布，可以保證模型的穩(wěn)定性，即，參數(shù)值不會(huì)太大或太小。在實(shí)際應(yīng)用中，如果特征是高維稀疏的，則使用L1正則化；如果特征是低維稠密的，則使用L1正則化；如果特征是稠密的，則使用L2正則化。最后附上圖表。右邊是L1正則，最優(yōu)解在坐標(biāo)軸上，這意味著某些參數(shù)為0。

機(jī)器學(xué)習(xí)中引入L2范數(shù)的意義是什么？

目標(biāo)函數(shù)設(shè)計(jì)是學(xué)習(xí)問題的一部分。目標(biāo)函數(shù)包括評(píng)估數(shù)據(jù)擬合程度的損失函數(shù)（殘差項(xiàng)）和選擇信號(hào)模型的懲罰函數(shù)（正則項(xiàng)）。L2范數(shù)的損失函數(shù)對(duì)應(yīng)于二次殘差，L2范數(shù)的懲罰函數(shù)對(duì)應(yīng)于信號(hào)能量最小化的模型約束。

想要學(xué)習(xí)算法的收斂性分析，應(yīng)該從何入手？

如果深度學(xué)習(xí)不收斂，就意味著找不到最優(yōu)解或次優(yōu)解。將該問題轉(zhuǎn)化為優(yōu)化問題。許多深度學(xué)習(xí)問題都是非凸優(yōu)化問題，但可以轉(zhuǎn)化為帶L2正則化等約束的凸優(yōu)化問題。這是深度學(xué)習(xí)領(lǐng)域的一個(gè)基礎(chǔ)性研究方向，非常有意義。但也要做好準(zhǔn)備。我唯一可靠的建議是多看些報(bào)紙。祝你在博士期間有很多論文。

作為程序員，你在編程時(shí)享受過哪些數(shù)學(xué)帶來的好處？

主要的問題是找出多少數(shù)學(xué)可以幫助編程？如果只是編程，我?guī)缀跸硎懿坏綌?shù)學(xué)的好處。我在大學(xué)里學(xué)的是高等數(shù)學(xué)，但編程幾乎不用這些知識(shí)。

直到我開始接觸深度學(xué)習(xí)，深度神經(jīng)網(wǎng)絡(luò)的正向傳播需要數(shù)學(xué)思維去理解，而反向傳播中用到的推導(dǎo)也是高等數(shù)學(xué)的知識(shí)。在這個(gè)時(shí)候，我很高興我學(xué)會(huì)了數(shù)學(xué)，能夠很快理解原理。

深度學(xué)習(xí)中常用的矩陣向量的計(jì)算也需要線性代數(shù)的知識(shí)。為了解決L2正則化問題，deep神經(jīng)網(wǎng)絡(luò)采用了兩種范式。利用數(shù)學(xué)知識(shí)進(jìn)行深度學(xué)習(xí)有很多方面。

所以當(dāng)我接觸到深度學(xué)習(xí)時(shí)，我享受到了數(shù)學(xué)的好處。雖然深度學(xué)習(xí)并不一定需要數(shù)學(xué)知識(shí)，但有一定數(shù)量的數(shù)學(xué)知識(shí)可以幫助我理解原理，更快地開始學(xué)習(xí)。同時(shí)，我也很后悔當(dāng)初沒有把數(shù)學(xué)學(xué)得更深入，這樣才能更精通深度學(xué)習(xí)。

總而言之，數(shù)學(xué)對(duì)編程沒有什么意義。如果你想深入學(xué)習(xí)，那么數(shù)學(xué)知識(shí)是非常重要的。而現(xiàn)在人工智能如此火，學(xué)習(xí)數(shù)學(xué)知識(shí)是非常必要的。