e的函數(shù)曲線？y的x次方等于e是指數(shù)函數(shù)。它的形象是單調(diào)增加的。X∈R，Y>0在（0,1）點(diǎn)與Y軸相交。圖像位于X軸上方，第二象限無限靠近X軸。Batch Normalization中，如何更快地

e的函數(shù)曲線？

y的x次方等于e是指數(shù)函數(shù)。它的形象是單調(diào)增加的。X∈R，Y>0在（0,1）點(diǎn)與Y軸相交。圖像位于X軸上方，第二象限無限靠近X軸。

Batch Normalization中，如何更快地訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)？

首先，ICs（internal covariate shift）在統(tǒng)計機(jī)器學(xué)習(xí)中有一個經(jīng)典的假設(shè)，它要求源空間和目標(biāo)空間的數(shù)據(jù)分布是一致的。對于深層神經(jīng)網(wǎng)絡(luò)，深層神經(jīng)網(wǎng)絡(luò)涉及到多個層次的疊加，每一層的參數(shù)更新都會導(dǎo)致上層輸入數(shù)據(jù)分布的變化。通過層層疊加，上層輸入分布的變化會非常劇烈，這使得高層需要不斷地適應(yīng)底層的參數(shù)更新，使得訓(xùn)練收斂速度變慢。為了很好地訓(xùn)練模型，我們需要非常小心地設(shè)置學(xué)習(xí)率，初始化權(quán)重，并盡可能小心地更新參數(shù)。

通過對每層數(shù)據(jù)進(jìn)行批量歸一化，降低了對初始權(quán)值和學(xué)習(xí)速度的依賴，加快了神經(jīng)網(wǎng)絡(luò)的收斂速度。

當(dāng)神經(jīng)網(wǎng)絡(luò)訓(xùn)練的收斂速度很慢，或者梯度離散無法訓(xùn)練時，可以嘗試用BN來解決。