卷積神經損失函數(shù)怎么加入正則化？[AI瘋狂高級正規(guī)化-今日頭條]https://m.toutiaocdn.com/item/6771036466026906123/？app=newsuArticle&

卷積神經損失函數(shù)怎么加入正則化？

[AI瘋狂高級正規(guī)化-今日頭條]https://m.toutiaocdn.com/item/6771036466026906123/？app=newsuArticle&timestamp=157662997&reqid=201912180846060100140470162DE60E99&groupid=6771036466026906123&ttfrom=copylink&utmuSource=copylink&utmuMedium=toutiaoios&utmuCampaign=client神經網絡正則化技術包括數(shù)據增強、L1、L2、batchnorm、dropout等技術。本文對神經網絡正則化技術及相關問題進行了詳細的綜述。如果你有興趣，可以關注我，繼續(xù)把人工智能相關理論帶到實際應用中去。

圖像去卷積正則化方法有哪些？

卷積核用于滑動圖像以提取特定特征（如特定方向的邊緣），然后使用relu抑制梯度色散。為了得到結果，使用另一個卷積核繼續(xù)提取relu，然后pool（保留最大區(qū)域或使用平均區(qū)域替換整個局部區(qū)域的值，確保平移不變性，并在一定程度上抑制過擬合）

在“depth”之后，我們需要繼續(xù)使用不同的卷積核來合并合并結果。最后，本質是一幅圖像的深度特征，然后實際的分類需要添加另一層，一般是softmax。

（也就是說，對于已經訓練過的現(xiàn)成的卷積神經網絡模型，只保留最后一層以外的部分，然后輸入訓練圖片，并將網絡的輸出發(fā)送給多類支持向量機進行再訓練。最后，根據支持向量機的參數(shù)，可以得到相同的結果。）

為什么卷積神經網絡很快就收斂了？

數(shù)據沒有標準化。

我沒有檢查你的結果。結果包括預處理結果和最終的訓練測試結果。

忘記做數(shù)據預處理。

忘記使用正則化。

批量設置太大。

學習速率設置不正確。

未正確使用最后一層的激活功能。

網絡中存在不良梯度。例如，relu到負值的梯度為0。當它向后傳播時，0的漸變不會傳播。

參數(shù)初始化錯誤。

網絡太深。

隱藏層中的神經元數(shù)量錯誤。

比較以上11項找出錯誤

如果你是一個面試者，怎么判斷一個面試官的機器學習水平？

卷積核數(shù)濾波器卷積核大小uu卷積核權參數(shù)初始分布卷積核偏差參數(shù)初始分布池大小池步長池優(yōu)化算法目標函數(shù)批量大小正則化數(shù)據預處理會影響太多的參數(shù)

簡單的答案是肯定的。復雜的答案是不確定的（見下文）。

這個概念。

（圖片作者：chabacano，許可證：CC by sa 4.0）

從圖像中可以明顯看出，過度擬合的曲線過于曲折（復雜），對現(xiàn)有數(shù)據擬合得非常好，但它不能很好地描述數(shù)據的規(guī)律，因此面對新數(shù)據，我們不得不停下來。

從上面我們得到一個直覺，過度擬合的模型往往比正確的模型更復雜。

。您所說的“直接減少隱藏層和隱藏單元的數(shù)量”使網絡更薄、更窄正是簡化模型的方法。這個想法沒有問題。

但是，我們可能必須嘗試找出它是否有效。因為，一般來說，更復雜的網絡可能更有表現(xiàn)力。

一般來說，神經網絡仍然是一個黑匣子。有時，正則化的效果更好，有時則不然。一些問題可能是復雜的網絡工作得很好，另一些問題可能是深度和狹窄的網絡工作得很好，另一些問題可能是薄而寬的網絡工作得很好，或者一些問題可能是簡單的網絡工作得很好。

具體來說，為了解決過擬合問題，除了簡化模型（即您稱之為“直接減少隱藏層、隱藏層、隱藏層”）外，還存在漏項（在某種意義上，我們可以看到模型的某些部分由于簡化模型的繞道而無法工作），以及人為增加稀疏性限制（稀疏性和簡化之間存在模糊關系）或盡快停止訓練。