卷積神經(jīng)損失函數(shù)怎么加入正則化？[AI瘋狂高級(jí)正規(guī)化-今日頭條]https://m.toutiaocdn.com/item/6771036466026906123/？app=newsuArticle&

卷積神經(jīng)損失函數(shù)怎么加入正則化？

[AI瘋狂高級(jí)正規(guī)化-今日頭條]https://m.toutiaocdn.com/item/6771036466026906123/？app=newsuArticle&timestamp=157662997&reqid=201912180846060100140470162DE60E99&groupid=6771036466026906123&ttfrom=copylink&utmuSource=copylink&utmuMedium=toutiaoios&utmuCampaign=client神經(jīng)網(wǎng)絡(luò)正則化技術(shù)包括數(shù)據(jù)增強(qiáng)、L1、L2、batchnorm、dropout等技術(shù)。本文對(duì)神經(jīng)網(wǎng)絡(luò)正則化技術(shù)及相關(guān)問(wèn)題進(jìn)行了詳細(xì)的綜述。如果你有興趣，可以關(guān)注我，繼續(xù)把人工智能相關(guān)理論帶到實(shí)際應(yīng)用中去。

可以通過(guò)直接減少hidden layer、hidden unit而不是加正則化來(lái)解決神經(jīng)網(wǎng)絡(luò)過(guò)擬合嗎？

簡(jiǎn)單的答案是肯定的。復(fù)雜的答案是不確定的（見下文）。

這個(gè)概念。

（圖片作者：chabacano，許可證：CC by sa 4.0）

從圖像中可以明顯看出，過(guò)度擬合的曲線過(guò)于曲折（復(fù)雜），對(duì)現(xiàn)有數(shù)據(jù)擬合得非常好，但它不能很好地描述數(shù)據(jù)的規(guī)律，因此面對(duì)新數(shù)據(jù)，我們不得不停下來(lái)。

從上面我們得到一個(gè)直覺，過(guò)度擬合的模型往往比正確的模型更復(fù)雜。

。您所說(shuō)的“直接減少隱藏層和隱藏單元的數(shù)量”使網(wǎng)絡(luò)更薄、更窄正是簡(jiǎn)化模型的方法。這個(gè)想法沒(méi)有問(wèn)題。

但是，我們可能必須嘗試找出它是否有效。因?yàn)椋话銇?lái)說(shuō)，更復(fù)雜的網(wǎng)絡(luò)可能更有表現(xiàn)力。

一般來(lái)說(shuō)，神經(jīng)網(wǎng)絡(luò)仍然是一個(gè)黑匣子。有時(shí)，正則化的效果更好，有時(shí)則不然。一些問(wèn)題可能是復(fù)雜的網(wǎng)絡(luò)工作得很好，另一些問(wèn)題可能是深度和狹窄的網(wǎng)絡(luò)工作得很好，另一些問(wèn)題可能是薄而寬的網(wǎng)絡(luò)工作得很好，或者一些問(wèn)題可能是簡(jiǎn)單的網(wǎng)絡(luò)工作得很好。

具體來(lái)說(shuō)，為了解決過(guò)擬合問(wèn)題，除了簡(jiǎn)化模型（即您稱之為“直接減少隱藏層、隱藏層、隱藏層”）外，還存在漏項(xiàng)（在某種意義上，我們可以看到模型的某些部分由于簡(jiǎn)化模型的繞道而無(wú)法工作），以及人為增加稀疏性限制（稀疏性和簡(jiǎn)化之間存在模糊關(guān)系）或盡快停止訓(xùn)練。