前饋神經(jīng)網(wǎng)絡(luò)、BP神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)的區(qū)別與聯(lián)系？前饋神經(jīng)網(wǎng)絡(luò)是一層節(jié)點(diǎn)，只把前一層作為輸入，輸出到后一層，本身和其他層之間沒(méi)有聯(lián)系，因?yàn)閿?shù)據(jù)是一層前向傳播的，所以叫前饋網(wǎng)絡(luò)。BP網(wǎng)絡(luò)是最常見(jiàn)的前

前饋神經(jīng)網(wǎng)絡(luò)、BP神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)的區(qū)別與聯(lián)系？

前饋神經(jīng)網(wǎng)絡(luò)是一層節(jié)點(diǎn)，只把前一層作為輸入，輸出到后一層，本身和其他層之間沒(méi)有聯(lián)系，因?yàn)閿?shù)據(jù)是一層前向傳播的，所以叫前饋網(wǎng)絡(luò)。

BP網(wǎng)絡(luò)是最常見(jiàn)的前饋網(wǎng)絡(luò)之一。BP體現(xiàn)在運(yùn)行機(jī)制上。數(shù)據(jù)輸入后，逐層向前傳播，然后計(jì)算損失函數(shù)，得到損失函數(shù)的殘差，再逐層向后傳播殘差。

卷積神經(jīng)網(wǎng)絡(luò)是基于人類視覺(jué)的特點(diǎn)，即視覺(jué)是從局部到全局的認(rèn)知，所以并不是所有的人都使用全連接（一般只有1-2個(gè)全連接層，甚至最近的研究建議取消CNN的全連接層），而是使用滑動(dòng)窗口只處理一個(gè)部分，這個(gè)運(yùn)算就像一個(gè)濾波器，這個(gè)運(yùn)算叫做卷積運(yùn)算（不是卷積運(yùn)算）信號(hào)處理的卷積運(yùn)算，當(dāng)然也可以用卷積運(yùn)算）。這種網(wǎng)絡(luò)稱為卷積神經(jīng)網(wǎng)絡(luò)。

目前最流行的網(wǎng)絡(luò)有前饋網(wǎng)絡(luò)和遞歸網(wǎng)絡(luò)，一般都是BP網(wǎng)絡(luò)；深度網(wǎng)絡(luò)一般采用卷積運(yùn)算，因此也屬于卷積神經(jīng)網(wǎng)絡(luò)。深度學(xué)習(xí)前的網(wǎng)絡(luò)都是連通的，但不是卷積網(wǎng)絡(luò)，而是前饋網(wǎng)絡(luò)和BP網(wǎng)絡(luò)。

BP神經(jīng)網(wǎng)絡(luò)和感知器有什么區(qū)別？

多層感知器是指結(jié)構(gòu)，BP是指學(xué)習(xí)算法。感知器模型非常簡(jiǎn)單，即將神經(jīng)元上的多個(gè)輸入之和帶入輸出函數(shù)減去閾值。多層感知器是由多層感知器模型組成的前向網(wǎng)絡(luò)。BP是指BP算法，BP網(wǎng)絡(luò)是指具有多層感知器結(jié)構(gòu)和BP算法的網(wǎng)絡(luò)。BP網(wǎng)絡(luò)是一種多層感知器網(wǎng)絡(luò)，但BP網(wǎng)絡(luò)突出算法，多層感知器突出結(jié)構(gòu)。

RBF神經(jīng)網(wǎng)絡(luò)和BP神經(jīng)網(wǎng)絡(luò)有什么區(qū)別？

BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)速率是固定的，因此BP神經(jīng)網(wǎng)絡(luò)的收斂速度慢，需要較長(zhǎng)的訓(xùn)練時(shí)間。對(duì)于一些復(fù)雜的問(wèn)題，BP算法的訓(xùn)練時(shí)間可能很長(zhǎng)，這主要是由于學(xué)習(xí)速度慢。RBF神經(jīng)網(wǎng)絡(luò)是一種高效的前饋網(wǎng)絡(luò)，具有其它前饋網(wǎng)絡(luò)所不具備的最佳逼近性能和全局最優(yōu)特性，具有結(jié)構(gòu)簡(jiǎn)單、訓(xùn)練速度快等優(yōu)點(diǎn)。

從RNN到LSTM，性能良好的神經(jīng)網(wǎng)絡(luò)到底是如何工作的？

RNN（遞歸神經(jīng)網(wǎng)絡(luò)）顧名思義，就是把以前的輸出（隱藏狀態(tài)）作為輸入，形成一個(gè)循環(huán)。

（RNN擴(kuò)展，圖像源：colah.github.io文件)

上面的展開(kāi)圖清楚地顯示了RNN的結(jié)構(gòu)。不難發(fā)現(xiàn)RNN的結(jié)構(gòu)與序列化數(shù)據(jù)是一致的。實(shí)際上，RNN實(shí)際上主要用于處理序列化數(shù)據(jù)。

基本上，不使用原始RNN，而是使用RNN的變體。

漸變裁剪可以緩解漸變爆炸，而RNN變體（如主流LSTM和Gru）可以緩解漸變消失。

（一般是sigmoid層）建模輸入、輸出和遺忘。

（圖片來(lái)源：中新網(wǎng)/@左上角的藍(lán)色是輸入門(mén)，右上角的綠色是輸出門(mén)，底部的紅色是遺忘門(mén)。