卷積神經(jīng)損失函數(shù)怎么加入正則化？[AI瘋狂高級(jí)正規(guī)化-今日頭條]https://m.toutiaocdn.com/item/6771036466026906123/？app=newsuArticle&

卷積神經(jīng)損失函數(shù)怎么加入正則化？

[AI瘋狂高級(jí)正規(guī)化-今日頭條]https://m.toutiaocdn.com/item/6771036466026906123/？app=newsuArticle&timestamp=157662997&reqid=201912180846060100140470162DE60E99&groupid=6771036466026906123&ttfrom=copylink&utmuSource=copylink&utmuMedium=toutiaoios&utmuCampaign=client神經(jīng)網(wǎng)絡(luò)正則化技術(shù)包括數(shù)據(jù)增強(qiáng)、L1、L2、batchnorm、dropout等技術(shù)。本文對(duì)神經(jīng)網(wǎng)絡(luò)正則化技術(shù)及相關(guān)問(wèn)題進(jìn)行了詳細(xì)的綜述。如果你有興趣，可以關(guān)注我，繼續(xù)把人工智能相關(guān)理論帶到實(shí)際應(yīng)用中去。

機(jī)器學(xué)習(xí)中常常提到的正則化到底是什么意思？

簡(jiǎn)而言之，機(jī)器學(xué)習(xí)就是根據(jù)樣本數(shù)據(jù)訓(xùn)練一個(gè)模型，然后用這個(gè)模型來(lái)計(jì)算測(cè)試數(shù)據(jù)的輸出值。由于樣本數(shù)據(jù)存在一定的誤差，訓(xùn)練后的模型容易出現(xiàn)“過(guò)擬合”（即模型與樣本數(shù)據(jù)幾乎匹配，但不是實(shí)際模型）。正則化是為了解決“過(guò)擬合”問(wèn)題，使模型更接近實(shí)際情況，防止被錯(cuò)誤的樣本數(shù)據(jù)“偏誤”。

在上圖中，圖1擬合不足（通常是因?yàn)闃颖緮?shù)據(jù)太少），圖2擬合過(guò)度。該模型雖然與樣本數(shù)據(jù)完全吻合，但過(guò)于復(fù)雜和陌生，明顯脫離實(shí)際。圖3是添加正則化后接近真實(shí)模型的結(jié)果。