在訓(xùn)練LSTM的時候使用除了Tanh/Sigmoid以外的激活函數(shù)效果都很差，是為什么？LSTM中使用的所有Sigmoid都是門，其輸出必須在0.1之間，所以relu無法做到這一點elliotsig也

在訓(xùn)練LSTM的時候使用除了Tanh/Sigmoid以外的激活函數(shù)效果都很差，是為什么？

LSTM中使用的所有Sigmoid都是門，其輸出必須在0.1之間，所以relu無法做到這一點

elliotsig也很難飽和。LSTM應(yīng)該需要飽和門來記住或忘記信息。不飽和門會使過去和現(xiàn)在的記憶一直重疊，這會導(dǎo)致記憶障礙

如果本質(zhì)很簡單，至少聽起來很簡單。

計算機(jī)的本質(zhì)只是門電路的開關(guān)，程序的本質(zhì)只是01組合，火箭發(fā)射的本質(zhì)只是軌道擬合，生命體的本質(zhì)只是一堆蛋白質(zhì)，思維的本質(zhì)只是電信號，等等。如果追根溯源，人的本質(zhì)就像一堆原子。

許多東西無法分解為可見，因為它們的價值就在組合的這一部分。神經(jīng)網(wǎng)絡(luò)的本質(zhì)確實是一個復(fù)合函數(shù)，因為加權(quán)是乘法，偏移是加法，激活是函數(shù)運算。這些都很簡單。即使外部激活函數(shù)稍微復(fù)雜一些，它仍然可以被寫出來。但是，需要提出神經(jīng)網(wǎng)絡(luò)的反向傳播，否則神經(jīng)網(wǎng)絡(luò)無法優(yōu)化；全連通網(wǎng)絡(luò)的參數(shù)個數(shù)過大，無法增加深度，因此需要提出CNN、RESNET、dropout、pool，并在此基礎(chǔ)上實現(xiàn)它們的反向傳播算法，這些理論是經(jīng)過嚴(yán)格的數(shù)據(jù)邏輯驗證后提出的。

當(dāng)然，任何人都可以做復(fù)合功能，但他們做不到。最后兩個月的課足夠?qū)W習(xí)了，但是學(xué)習(xí)這些東西能提出神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)嗎？你學(xué)完高等數(shù)學(xué)后能寫一篇約洛嗎？不要老是談?wù)摼A。只有真正理解的人才有資格談?wù)摫举|(zhì)。人們甚至不知道神經(jīng)網(wǎng)絡(luò)的本質(zhì)。聽起來像是土木科學(xué)說地球是平的。