從RNN到LSTM，性能良好的神經(jīng)網(wǎng)絡(luò)到底是如何工作的？RNN（遞歸神經(jīng)網(wǎng)絡(luò)），顧名思義，以先前的輸出（隱藏狀態(tài)）作為輸入，形成一個(gè)循環(huán)。（RNN擴(kuò)展，圖像源：colah.github.io文件)上面

從RNN到LSTM，性能良好的神經(jīng)網(wǎng)絡(luò)到底是如何工作的？

RNN（遞歸神經(jīng)網(wǎng)絡(luò)），顧名思義，以先前的輸出（隱藏狀態(tài)）作為輸入，形成一個(gè)循環(huán)。

（RNN擴(kuò)展，圖像源：colah.github.io文件)

上面的展開(kāi)圖清楚地顯示了RNN的結(jié)構(gòu)。不難發(fā)現(xiàn)RNN的結(jié)構(gòu)與序列化數(shù)據(jù)是一致的。實(shí)際上，RNN實(shí)際上主要用于處理序列化數(shù)據(jù)。

基本上，不使用原始RNN，而是使用RNN的變體。

漸變裁剪可以緩解漸變爆炸，而RNN變體（如主流LSTM和Gru）可以緩解漸變消失。

（一般是sigmoid層）建模輸入、輸出和遺忘。

（圖片來(lái)源：中新網(wǎng)/@左上角的藍(lán)色是輸入門(mén)，右上角的綠色是輸出門(mén)，底部的紅色是遺忘門(mén)。

SVM和神經(jīng)網(wǎng)絡(luò)(如: DNN CNN RNN)是不是兄弟關(guān)系？有什么證據(jù)嗎？

不，神經(jīng)網(wǎng)絡(luò)不是兄弟，因?yàn)樗鼈冇胁煌慕Y(jié)構(gòu)。

支持向量機(jī)是通過(guò)凸優(yōu)化算法解決凸性問(wèn)題，找到最大邊緣條件，實(shí)現(xiàn)高維數(shù)據(jù)分割。神經(jīng)網(wǎng)絡(luò)通過(guò)復(fù)雜的非線(xiàn)性表達(dá)式來(lái)描述輸入輸出之間的關(guān)系。CNN采用卷積核對(duì)參數(shù)矩陣進(jìn)行約簡(jiǎn)，RNN采用參數(shù)共享的方法，DNN采用FC網(wǎng)絡(luò)時(shí)只使用線(xiàn)性和非線(xiàn)性表達(dá)式。這些算法的設(shè)計(jì)思想和應(yīng)用都不盡相同。不能說(shuō)他們是兄弟，但他們都是機(jī)器學(xué)習(xí)算法。

深度神經(jīng)網(wǎng)絡(luò)（DNN）是否模擬了人類(lèi)大腦皮層結(jié)構(gòu)？

同時(shí)，一些特定的深層神經(jīng)網(wǎng)絡(luò)模型在一定程度上類(lèi)似于人類(lèi)大腦皮層的結(jié)構(gòu)。

例如，2017年10月，美國(guó)普渡大學(xué)綜合腦成像實(shí)驗(yàn)室的劉忠明在大腦皮層發(fā)表了《基于動(dòng)態(tài)自然視覺(jué)深度學(xué)習(xí)的神經(jīng)編解碼》，基于深度神經(jīng)網(wǎng)絡(luò)模型對(duì)動(dòng)態(tài)視覺(jué)進(jìn)行編解碼。這項(xiàng)工作基于972個(gè)視頻片段和11.5小時(shí)的功能磁共振數(shù)據(jù)，通過(guò)深度神經(jīng)網(wǎng)絡(luò)（fMRI）編碼和解碼，磁共振成像技術(shù)檢測(cè)由于氧合血紅蛋白和脫氧血紅蛋白比率的變化而引起的血液磁化率的差異，并判斷相應(yīng)的腦區(qū)處于活動(dòng)或靜止?fàn)顟B(tài)），并用深層神經(jīng)網(wǎng)絡(luò)來(lái)解釋動(dòng)態(tài)視覺(jué)與腦激活的關(guān)系以及二者之間的關(guān)系。在以往的研究中，深度神經(jīng)網(wǎng)絡(luò)主要用來(lái)解釋靜態(tài)視覺(jué)和大腦激活之間的關(guān)系。目前尚不清楚深度神經(jīng)網(wǎng)絡(luò)是否可以用來(lái)解釋動(dòng)態(tài)視覺(jué)和大腦激活之間的關(guān)系。具體來(lái)說(shuō)，CNN模型的中間層負(fù)責(zé)處理抽象的視覺(jué)信息，與人類(lèi)視覺(jué)皮層的層次結(jié)構(gòu)非常相似。

最終效果非常好。在編碼方面，它取決于ROI（感興趣區(qū)域）。在相同的ROI范圍內(nèi)，平均精度可達(dá)0.4～0.6，跨ROI的精度為0.25～0.3。

此答案中使用的圖片均取自原稿。

云計(jì)算淘汰運(yùn)維，SDN淘汰網(wǎng)工，IT行業(yè)只剩下碼農(nóng)和碼農(nóng)了嗎？

只是半瓶遲早要淘汰

不僅運(yùn)維人員，不僅網(wǎng)絡(luò)工作者，還有碼農(nóng)遲早要淘汰90%。

海浪沖走了沙子，泥土造就了金子

！無(wú)論是云計(jì)算、SDN、Devops，還是大數(shù)據(jù)、AI。平臺(tái)維護(hù)離不開(kāi)有經(jīng)驗(yàn)的運(yùn)維、網(wǎng)絡(luò)工程師、硬件工程師。如果我們擺脫了那些無(wú)知和沒(méi)有技能的人，我們留下的東西會(huì)更受歡迎，有更高的收入，我們不需要整天加班。

因?yàn)橹貜?fù)的臟活可以通過(guò)自動(dòng)任務(wù)和腳本來(lái)完成，有經(jīng)驗(yàn)的工程師可以通過(guò)積累知識(shí)和經(jīng)驗(yàn)來(lái)解決問(wèn)題，而不是簡(jiǎn)單的重復(fù)性體力勞動(dòng)。

神經(jīng)網(wǎng)絡(luò)的分類(lèi)？

神經(jīng)網(wǎng)絡(luò)的分類(lèi)方法有很多種。例如，根據(jù)網(wǎng)絡(luò)性能可分為連續(xù)網(wǎng)絡(luò)和離散網(wǎng)絡(luò)、確定性網(wǎng)絡(luò)和隨機(jī)網(wǎng)絡(luò)；根據(jù)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)可分為前向神經(jīng)網(wǎng)絡(luò)和反饋神經(jīng)網(wǎng)絡(luò)。本章介紹了前饋神經(jīng)網(wǎng)絡(luò)、反饋神經(jīng)網(wǎng)絡(luò)和自組織特征映射神經(jīng)網(wǎng)絡(luò)。前饋神經(jīng)網(wǎng)絡(luò)在數(shù)據(jù)挖掘中有著廣泛的應(yīng)用。它的原理或算法也是許多神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)。徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)是一種前向神經(jīng)網(wǎng)絡(luò)。Hopfield神經(jīng)網(wǎng)絡(luò)是反饋網(wǎng)絡(luò)的代表。hvpfi}LD網(wǎng)絡(luò)的原型是一個(gè)非線(xiàn)性動(dòng)態(tài)系統(tǒng)，已成功應(yīng)用于聯(lián)想記憶和優(yōu)化計(jì)算。針對(duì)優(yōu)化計(jì)算中的局部極小問(wèn)題，提出了模擬退火算法。Baltzmann機(jī)是一種具有隨機(jī)輸出值單位的隨機(jī)神經(jīng)網(wǎng)絡(luò)。串行baltzmann機(jī)可以看作是二次組合優(yōu)化問(wèn)題模擬退火算法的具體實(shí)現(xiàn)。同時(shí)，它還可以模擬外界的概率分布，實(shí)現(xiàn)概率意義上的聯(lián)想記憶。自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)的特點(diǎn)是能夠自動(dòng)識(shí)別環(huán)境和集群的特征。自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)已成功地應(yīng)用于特征提取和大規(guī)模數(shù)據(jù)處理。

BP神經(jīng)網(wǎng)絡(luò)和GRNN的區(qū)別是什么？

共有43章，涵蓋了常見(jiàn)的神經(jīng)網(wǎng)絡(luò)（BP、RBF、SOM、Hopfield、Elman、LVQ、Kohonen、GRNN、NARX等）和相關(guān)的智能算法（SVM、決策樹(shù)、隨機(jī)森林、極限學(xué)習(xí)機(jī)等）。同時(shí)，一些章節(jié)還涉及到常用優(yōu)化算法（遺傳算法、蟻群算法等）與神經(jīng)網(wǎng)絡(luò)的結(jié)合。此外，本書(shū)還介紹了matlabr2012b中神經(jīng)網(wǎng)絡(luò)工具箱的新功能和特點(diǎn)，如神經(jīng)網(wǎng)絡(luò)并行計(jì)算、定制神經(jīng)網(wǎng)絡(luò)、神經(jīng)網(wǎng)絡(luò)高效編程等。