梯度爆炸和梯度消失的原因 從RNN到LSTM，性能良好的神經(jīng)網(wǎng)絡到底是如何工作的？
從RNN到LSTM，性能良好的神經(jīng)網(wǎng)絡到底是如何工作的？RNN（遞歸神經(jīng)網(wǎng)絡），顧名思義，以先前的輸出（隱藏狀態(tài)）作為輸入，形成一個循環(huán)。（RNN擴展，圖像源：colah.github.io文件)上面
從RNN到LSTM，性能良好的神經(jīng)網(wǎng)絡到底是如何工作的？
RNN（遞歸神經(jīng)網(wǎng)絡），顧名思義，以先前的輸出（隱藏狀態(tài)）作為輸入，形成一個循環(huán)。
（RNN擴展，圖像源：colah.github.io文件)
上面的展開圖清楚地顯示了RNN的結構。不難發(fā)現(xiàn)RNN的結構與序列化數(shù)據(jù)是一致的。實際上，RNN實際上主要用于處理序列化數(shù)據(jù)。
基本上，不使用原始RNN，而是使用RNN的變體。
rnu的梯度和梯度可以通過Gru的梯度和梯度來減輕。
（一般是sigmoid層）建模輸入、輸出和遺忘。
（圖片來源：中新網(wǎng)/@左上角的藍色是輸入門，右上角的綠色是輸出門，底部的紅色是遺忘門。
是否存在通用的神經(jīng)網(wǎng)絡模型，可以處理圖像，語音以及NLP？
對于目前的深度學習模型，雖然深度學習的目標之一是設計能夠處理各種任務的算法，但是深度學習的應用還需要一定的專業(yè)化，目前還沒有通用的神經(jīng)網(wǎng)絡處理模型。然而，每一種模式也在相互學習、相互融合、共同提高。例如，一些創(chuàng)新可以同時改進卷積神經(jīng)網(wǎng)絡和遞歸神經(jīng)網(wǎng)絡，如批量標準化和關注度。一般模型需要在將來提出。
圖像和視頻處理，計算機視覺，最流行的是CNN，卷積神經(jīng)網(wǎng)絡，它的變形和發(fā)展，CNN適合處理空間數(shù)據(jù)，廣泛應用于計算機視覺領域。例如，alexnet、vggnet、googlenet、RESNET等都有自己的特點。將上述模型應用于圖像分類識別中。在圖像分割、目標檢測等方面，提出了更有針對性的模型，并得到了廣泛的應用。
語音處理，2012年之前，最先進的語音識別系統(tǒng)是隱馬爾可夫模型（HMM）和高斯混合模型（GMM）的結合。目前最流行的是深度學習RNN遞歸神經(jīng)網(wǎng)絡，其長、短期記憶網(wǎng)絡LSTM、Gru、雙向RNN、層次RNN等。
除了傳統(tǒng)的自然語言處理方法外，目前的自然語言處理深度學習模型也經(jīng)歷了幾個發(fā)展階段，如基于CNN的模型、基于RNN的模型、基于注意的模型、基于變壓器的模型等。不同的任務場景有不同的模型和策略來解決一些問題。
人腦是怎么防止梯度消失和梯度爆炸的？
大腦中有近900億個神經(jīng)元。如此龐大的網(wǎng)絡如何防止梯度消失和梯度爆炸？我認為，因為大腦不能一次激活所有的神經(jīng)元，所以它把結果儲存在遠離大腦的地方。
人腦是如何工作的？
你給大腦一個圖像，同時激活整個大腦嗎？顯然不是。大腦被分割了。然而，在遙遠的地方存儲信息只是人腦算法的一小部分，這與動物和人類驚人的識別能力無關。我認為更多的是關于短期記憶的儲存（在它變成長期記憶之前）。
現(xiàn)在人們普遍認為人腦沒有DNN這樣的梯度返回機制。。。對生物學稍有了解就會發(fā)現(xiàn)神經(jīng)元的傳遞是單向的。但是我們能有兩個神經(jīng)元，一個前饋一個反饋嗎？目前的研究還沒有發(fā)現(xiàn)。。。一般認為這一環(huán)節(jié)是一個循環(huán)結構（RNN）。其次，新生動物的比率可能不需要學習掌握很多基本的信息處理能力。例如，牛、羊和馬生來就是要走路的。結果表明，它們的基因是預先編程的，具有一些基本的能力，如行走、運動和視覺，這是我們通過反向傳播訓練模型實現(xiàn)的。人類出生的原因看不清楚。現(xiàn)有的解釋是，人類在出生時并沒有完全發(fā)育，否則嬰兒的頭太大，無法順利分娩。然而，大腦中肯定有一種機制來返回錯誤并改變突觸重量。
為什么現(xiàn)在人工智能這么熱，是因為某個技術獲得突破性進展了嗎？
不僅僅是AI現(xiàn)在如此火爆，歷史上也曾一度火爆。
人們總是高估短時間內(nèi)能取得的成就，卻低估了長時間內(nèi)能取得的成就。這是人類社會的本性，而且一直如此。1956年達特茅斯會議提出了人工智能的概念。當時，科學家們信心滿滿，希望讓人工智能在十年內(nèi)解決人類智能能夠解決的問題。當時的一位大牛認為，讓機器看到和理解事物是一項非常簡單的任務，讓他的博士生在一個月內(nèi)解決機器視覺的問題。當然，我們知道，這個問題到現(xiàn)在還沒有解決。
人工智能是一個極其重要的領域。正因為如此，人們對它的看法總是徘徊在幾個極端之間。上世紀60年代，人們對解決自然語言問題充滿了熱情，希望用幾年時間創(chuàng)造出一個通用的翻譯器，讓人們相互理解，讓巴別塔不再是廢墟。但在投入了大量人力物力后，研究人員卻一敗涂地。于是，人工智能的熱潮迅速退去。在接下來的十年里，整個領域變得悲觀起來，持續(xù)了十多年的“人工智能之冬”開始了。
然而，許多研究人員仍在研究它——畢竟，人工智能太有吸引力了。20世紀90年代以來，一些新的思想被應用，人工智能領域逐漸活躍起來。但最大的變化應該是2006年提出的“深度學習”方法。該方法以神經(jīng)網(wǎng)絡為基礎，模擬人腦的學習方法，構造多層機器學習模型。
最重要的是，這種方法具有很強的通用性，使機器能夠“學習”如何理解現(xiàn)實世界中的對象。因此，人們在圖像識別、機器翻譯、作文、寫作等領域進行了深入的學習嘗試，其中自然語言處理有著良好的發(fā)展勢頭。
如果在人工智能的發(fā)展中有任何突破性的技術，深度學習應該是其中之一。然而，這一領域的普及不僅僅是由深度學習推動的，計算機工具的普及、計算能力的提高和互聯(lián)網(wǎng)的發(fā)展都是促成當今人工智能發(fā)展的重要因素。