神經(jīng)網(wǎng)絡(luò)反向傳播算法本質(zhì)是在解決什么問題？是怎樣的？反向傳播算法是一個深入的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過程，最終誤差值根據(jù)梯度和誤差傳播原理返回到數(shù)據(jù)輸入方向，用來修改每層神經(jīng)元的權(quán)值或卷積核參數(shù)，以達(dá)到減小正誤差

神經(jīng)網(wǎng)絡(luò)反向傳播算法本質(zhì)是在解決什么問題？是怎樣的？

反向傳播算法是一個深入的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過程，最終誤差值根據(jù)梯度和誤差傳播原理返回到數(shù)據(jù)輸入方向，用來修改每層神經(jīng)元的權(quán)值或卷積核參數(shù)，以達(dá)到減小正誤差的目的，當(dāng)經(jīng)過一輪反向傳播后，正誤差很小，達(dá)到可接受的水平時，神經(jīng)網(wǎng)絡(luò)才穩(wěn)定訓(xùn)練。

如何理解反向傳播算法？

類比類似于幾個人站成一排，第一個人看一幅畫（輸入數(shù)據(jù)），描述給第二個人（隱藏層）等等，說到最后一個人（輸出），畫就看不見了。反向傳播是把畫展示給最后一個人（計算誤差），然后最后一個人會告訴前一個人在下一個描述中要注意什么（重量校正）。

機(jī)器學(xué)習(xí)究竟在學(xué)習(xí)什么？

標(biāo)準(zhǔn)定義：對于任務(wù)及其性能過程的度量方法，給出了具體的算法。利用經(jīng)驗數(shù)據(jù)不斷改進(jìn)任務(wù)執(zhí)行過程的方法稱為機(jī)器學(xué)習(xí)。

簡單定義：

舉個簡單的例子：出租車司機(jī)開車送你從上海到北京。在這里，“任務(wù)”是從上海到北京，“表現(xiàn)過程”是從上海到北京的不同道路，“經(jīng)驗數(shù)據(jù)”是每一條可以走的道路。在此基礎(chǔ)上，設(shè)計了一種算法，利用實證數(shù)據(jù)建立“上海哪條路走”模型，提高北京的速度效應(yīng)。

為了通過使用經(jīng)驗數(shù)據(jù)改進(jìn)性能過程，最流行的方法是“誤差反向傳播”。該方法的核心思想是：讓機(jī)器自由試錯，然后根據(jù)試錯結(jié)果與樣本真實結(jié)果之間的誤差調(diào)整試錯策略。對誤差較小的嘗試進(jìn)行獎勵，對誤差較大的嘗試進(jìn)行懲罰，然后在一個周期內(nèi)進(jìn)行試驗，直到所有樣本的學(xué)習(xí)結(jié)果達(dá)到我們定義的最佳性能。

通過“誤差反向傳播”算法，機(jī)器將探索越來越多的上海到北京的道路，并以越來越快的速度找到最佳道路，這與老司機(jī)在多次駕駛后得到最佳選擇基本相同。

人與機(jī)器之間的差距也將反映在這里。當(dāng)從上海到北京有很多路的時候，人們不可能總是像機(jī)器那樣探索道路。對于機(jī)器的數(shù)據(jù)處理能力來說，這樣的數(shù)據(jù)量可能是幾分鐘內(nèi)的最佳選擇

當(dāng)然，人們可以找到一種新的方法。新手可以一路詢問老司機(jī)，而不是一路反復(fù)探索。