神經網絡反向傳播算法本質是在解決什么問題？是怎樣的？反向傳播算法是一個深入的神經網絡學習過程，最終誤差值根據梯度和誤差傳播原理返回到數據輸入方向，用來修改每層神經元的權值或卷積核參數，以達到減小正誤差

神經網絡反向傳播算法本質是在解決什么問題？是怎樣的？

反向傳播算法是一個深入的神經網絡學習過程，最終誤差值根據梯度和誤差傳播原理返回到數據輸入方向，用來修改每層神經元的權值或卷積核參數，以達到減小正誤差的目的，當經過一輪反向傳播后，正誤差很小，達到可接受的水平時，神經網絡才穩(wěn)定訓練。

神經網絡relu怎么反向求導？

Relu是神經網絡中的激活函數。

在神經網絡從輸入到輸出的正向傳播中，激活函數是不可避免的。因此，在反向傳播調整過程中，還需要根據鏈導數規(guī)則調整relu的偏差或梯度。

在神經網絡中，每兩層神經元的權重根據梯度進行調整。梯度調整的幅度和方向取決于激活函數后前一層神經元的輸入值a和激活函數前后一層神經元輸出值的偏差。relu的逆導數是神經元輸出的偏差（在進入激活函數之前）。relu的偏差請參考我的文章《BP反向傳播算法的思考與直觀理解——卷積小白的隨機世界》

例如，當L1層的偏差為m時，則relu后的L層的偏差為m*Wij。如果此時，relu之前的l層的輸出為Zi。如果Zi小于0。那么，L層神經元通過relu前的偏差為0；如果Zi大于0。那么，relu之前的L層的偏差是m*Wij。

如果神經網絡中，每個層內部的神經元之間有連接，這時候的前向和反向傳播應該怎么計算？

這是秩序問題。如果兩個節(jié)點相互傳遞，傳遞的順序是什么？是固定順序、隨機順序還是同時順序？事實上，這種結構已經存在于CNN的工作和消息傳遞中。CNN提取局部特征后，通過消息傳遞對特征進行進一步的過濾，同時對特征進行過濾。我們同時用當前值更新下一步。實際系統(tǒng)只能選擇一個特定的順序，很可能是同時進行的。