神經(jīng)網(wǎng)絡(luò)是一種重要的機(jī)器學(xué)習(xí)技術(shù)。它是深度學(xué)習(xí)的基礎(chǔ)，是目前最熱門的研究方向。學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)不僅可以幫助你掌握一種強(qiáng)大的機(jī)器學(xué)習(xí)方法，還可以幫助你更好地理解深度學(xué)習(xí)技術(shù)。神經(jīng)網(wǎng)絡(luò)屬于什么方向？反向傳播算

神經(jīng)網(wǎng)絡(luò)是一種重要的機(jī)器學(xué)習(xí)技術(shù)。它是深度學(xué)習(xí)的基礎(chǔ)，是目前最熱門的研究方向。學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)不僅可以幫助你掌握一種強(qiáng)大的機(jī)器學(xué)習(xí)方法，還可以幫助你更好地理解深度學(xué)習(xí)技術(shù)。

神經(jīng)網(wǎng)絡(luò)屬于什么方向？

反向傳播算法是一個(gè)深入的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過程，最終誤差值根據(jù)梯度和誤差傳播原理返回到數(shù)據(jù)輸入方向，用于修改每層神經(jīng)元的權(quán)值或卷積核參數(shù)，以達(dá)到減小正誤差的目的，當(dāng)經(jīng)過一輪反向傳播后，正誤差很小到可以接受的水平，神經(jīng)網(wǎng)絡(luò)是穩(wěn)定的我來訓(xùn)練。

神經(jīng)網(wǎng)絡(luò)反向傳播算法本質(zhì)是在解決什么問題？是怎樣的？

Relu是神經(jīng)網(wǎng)絡(luò)中的激活函數(shù)。

在神經(jīng)網(wǎng)絡(luò)從輸入到輸出的正向傳播中，激活函數(shù)是不可避免的。因此，在反向傳播調(diào)整過程中，還需要根據(jù)鏈導(dǎo)數(shù)規(guī)則調(diào)整relu的偏差或梯度。

在神經(jīng)網(wǎng)絡(luò)中，每兩層神經(jīng)元的權(quán)重根據(jù)梯度進(jìn)行調(diào)整。梯度調(diào)整的幅度和方向取決于激活函數(shù)后前一層神經(jīng)元的輸入值a和激活函數(shù)前后一層神經(jīng)元輸出值的偏差。relu的逆導(dǎo)數(shù)是神經(jīng)元輸出的偏差（在進(jìn)入激活函數(shù)之前）。relu的偏差請參考我的文章《BP反向傳播算法的思考與直觀理解——卷積小白的隨機(jī)世界》

例如，當(dāng)L1層的偏差為m時(shí)，則relu后的L層的偏差為m*Wij。如果此時(shí)，relu之前的l層的輸出為Zi。如果Zi小于0。那么，L層神經(jīng)元通過relu前的偏差為0；如果Zi大于0。那么，relu之前的L層的偏差是m*Wij。