為什么要使用relu激活函數(shù)？增加了網絡的非線性能力，以適應更多的非線性過程。在一定程度上，relu可以防止梯度的消失，但這并不是使用它的主要原因。主要原因是很容易找到導數(shù)。在一定程度上，這意味著右端

為什么要使用relu激活函數(shù)？

增加了網絡的非線性能力，以適應更多的非線性過程。在一定程度上，relu可以防止梯度的消失，但這并不是使用它的主要原因。主要原因是很容易找到導數(shù)。在一定程度上，這意味著右端不會接近飽和。當我們計算導數(shù)時，導數(shù)不會為零，所以梯度不會消失。但是左端問題仍然存在，如果我們掉進去梯度就會消失。所以有很多改進的relu。

深度學習難嗎？

有毅力不難思考，有毅力不難思考，有毅力不難堅持

在訓練LSTM的時候使用除了Tanh/Sigmoid以外的激活函數(shù)效果都很差，是為什么？

LSTM中使用的所有Sigmoid都是門，其輸出必須在0.1之間，所以relu不能確定

elliotsig也很難飽和。LSTM應該需要飽和門來記住或忘記信息。不飽和門會使過去和現(xiàn)在的記憶一直重疊，從而導致記憶障礙