多層感知器，為什么能實(shí)現(xiàn)非線(xiàn)性？由于增加了激活函數(shù)，如果激活函數(shù)是非線(xiàn)性的，則可以實(shí)現(xiàn)非線(xiàn)性。這個(gè)原則很簡(jiǎn)單。你可以試著用非線(xiàn)性函數(shù)來(lái)設(shè)置一個(gè)線(xiàn)性函數(shù)來(lái)運(yùn)算，結(jié)果一定是非線(xiàn)性的。然而，多層感知器網(wǎng)絡(luò)不

多層感知器，為什么能實(shí)現(xiàn)非線(xiàn)性？

由于增加了激活函數(shù)，如果激活函數(shù)是非線(xiàn)性的，則可以實(shí)現(xiàn)非線(xiàn)性。這個(gè)原則很簡(jiǎn)單。你可以試著用非線(xiàn)性函數(shù)來(lái)設(shè)置一個(gè)線(xiàn)性函數(shù)來(lái)運(yùn)算，結(jié)果一定是非線(xiàn)性的。

然而，多層感知器網(wǎng)絡(luò)不一定具有激活函數(shù)，并且激活函數(shù)不一定是非線(xiàn)性的。該方法可人為設(shè)定，僅利用非線(xiàn)性激活函數(shù)加隨機(jī)權(quán)初值，是理論和實(shí)踐驗(yàn)證的最佳方法。

感知器（perceptron）和支持向量機(jī)（svm）只能用于線(xiàn)性可分的樣本嗎？

單層感知器僅具有線(xiàn)性表達(dá)能力，而多層感知器結(jié)合非線(xiàn)性激活函數(shù)，具有非線(xiàn)性表達(dá)能力。

支持向量機(jī)的線(xiàn)性核只能用于線(xiàn)性可分樣本，而非線(xiàn)性核具有非線(xiàn)性擬合能力。

事實(shí)上，感知器和支持向量機(jī)本質(zhì)上只能對(duì)線(xiàn)性可分?jǐn)?shù)據(jù)進(jìn)行分類(lèi)。

多層感知器前面的L-1層可視為“特征提取”過(guò)程。將線(xiàn)性不可分原始數(shù)據(jù)映射到線(xiàn)性可分特征空間。

支持向量機(jī)的非線(xiàn)性核是相同的，相當(dāng)于將原始數(shù)據(jù)映射到希爾伯特空間。

特征提取的非線(xiàn)性擬合過(guò)程可以通過(guò)其他方式進(jìn)行（如深度神經(jīng)網(wǎng)絡(luò)）。