支持向量機(jī)和線性判別函數(shù)的區(qū)別？F（x）是一個(gè)值為1和-1的函數(shù)。SGN代表標(biāo)志。如果括號(hào)內(nèi)大于0，則取1；如果小于0，則取-1括號(hào)內(nèi)的部分是一個(gè)線性函數(shù)，滿足兩類(lèi)訓(xùn)練數(shù)據(jù)之間的最大距離。具體表達(dá)式是

支持向量機(jī)和線性判別函數(shù)的區(qū)別？

F（x）是一個(gè)值為1和-1的函數(shù)。SGN代表標(biāo)志。如果括號(hào)內(nèi)大于0，則取1；如果小于0，則取-1

括號(hào)內(nèi)的部分是一個(gè)線性函數(shù)，滿足兩類(lèi)訓(xùn)練數(shù)據(jù)之間的最大距離。具體表達(dá)式是通過(guò)一些優(yōu)化算法得到的

下面畫(huà)的B*是線性函數(shù)的常數(shù)項(xiàng)，w*是超平面X的法向量，X-分別是這兩類(lèi)中所謂的“支持向量”。事實(shí)上，SVM不難找到兩種數(shù)據(jù)之間間隔最大的超平面，然后結(jié)合一些數(shù)學(xué)工具發(fā)展出一套理論，Vapnik

單層感知器只有線性表達(dá)的能力，而多層感知器，加上非線性激活函數(shù)，具有非線性表達(dá)能力。

支持向量機(jī)的線性核只能用于線性可分樣本，而非線性核具有非線性擬合能力。

事實(shí)上，感知器和支持向量機(jī)本質(zhì)上只能對(duì)線性可分?jǐn)?shù)據(jù)進(jìn)行分類(lèi)。

多層感知器前面的L-1層可視為“特征提取”過(guò)程。將線性不可分原始數(shù)據(jù)映射到線性可分特征空間。

支持向量機(jī)的非線性核是相同的，相當(dāng)于將原始數(shù)據(jù)映射到希爾伯特空間。

特征提取的非線性擬合過(guò)程可以通過(guò)其他方式進(jìn)行（如深度神經(jīng)網(wǎng)絡(luò)）。

感知器（perceptron）和支持向量機(jī)（svm）只能用于線性可分的樣本嗎？

不屬于，神經(jīng)網(wǎng)絡(luò)屬于機(jī)器學(xué)習(xí)中的兩種不同算法。支持向量機(jī)的核心是構(gòu)造一個(gè)核函數(shù)，將數(shù)據(jù)從低維轉(zhuǎn)化為高維，使其不能低維分解為高維。神經(jīng)網(wǎng)絡(luò)現(xiàn)在一般是指卷積神經(jīng)網(wǎng)絡(luò)，是一種卷積濾波提取圖像、語(yǔ)音等特征的算法。卷積神經(jīng)網(wǎng)絡(luò)的最終分類(lèi)函數(shù)也可以使用支持向量機(jī)。例如，檢測(cè)網(wǎng)絡(luò)中的RCNN就是利用CNN提取特征，SVM對(duì)目標(biāo)數(shù)目進(jìn)行分類(lèi)。這應(yīng)該是CNN在除分類(lèi)以外的檢測(cè)任務(wù)中的首次成功應(yīng)用。

圖1。RCNN框架

1。支持向量機(jī)（SVM）是實(shí)現(xiàn)結(jié)構(gòu)風(fēng)險(xiǎn)最小化的一種較好方法。它的機(jī)器學(xué)習(xí)策略是結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則。為了使期望風(fēng)險(xiǎn)最小化，經(jīng)驗(yàn)風(fēng)險(xiǎn)和置信區(qū)間應(yīng)同時(shí)最小化

（1）它是專(zhuān)門(mén)為有限樣本情況設(shè)計(jì)的學(xué)習(xí)機(jī)，實(shí)現(xiàn)了結(jié)構(gòu)風(fēng)險(xiǎn)最小化：在給定數(shù)據(jù)逼近的精度和逼近函數(shù)的復(fù)雜度之間尋求折衷，以獲得最佳的泛化能力；（2）最終解決了一個(gè)凸二次規(guī)劃問(wèn)題。從理論上講，它能得到全局最優(yōu)解，解決神經(jīng)網(wǎng)絡(luò)方法無(wú)法避免的局部極值問(wèn)題，通過(guò)非線性變換將實(shí)際問(wèn)題轉(zhuǎn)化為高維特征空間，在高維空間構(gòu)造線性決策函數(shù)，實(shí)現(xiàn)非線性決策在原始空間中的功能。它巧妙地解決了維數(shù)問(wèn)題，保證了良好的泛化能力。此外，算法的復(fù)雜度與樣本維數(shù)無(wú)關(guān)。

目前，支持向量機(jī)算法已經(jīng)應(yīng)用于模式識(shí)別、回歸估計(jì)、概率密度函數(shù)估計(jì)等領(lǐng)域，其效率和精度已經(jīng)超過(guò)或可與傳統(tǒng)的學(xué)習(xí)算法相媲美。

主要方法是在高維空間中構(gòu)造線性決策函數(shù)，實(shí)現(xiàn)升維后的線性回歸。當(dāng)采用e-不敏感函數(shù)時(shí)，其基礎(chǔ)主要是e-不敏感函數(shù)和核函數(shù)算法。

如果使用擬合的數(shù)學(xué)模型來(lái)表示多維空間中的曲線，則從e-不敏感函數(shù)獲得的結(jié)果是“e-管道”，包括曲線和訓(xùn)練點(diǎn)。在所有采樣點(diǎn)中，只有分布在“管壁”上的零件確定管道的位置。這部分訓(xùn)練樣本稱(chēng)為支持向量機(jī)。

為了適應(yīng)訓(xùn)練樣本集的非線性，傳統(tǒng)的擬合方法通常在線性方程后增加一個(gè)高階項(xiàng)。這種方法確實(shí)有效，但可調(diào)參數(shù)的增加增加了過(guò)度擬合的風(fēng)險(xiǎn)。支持向量回歸算法利用核函數(shù)來(lái)解決這一矛盾。用核函數(shù)代替線性方程中的線性項(xiàng)，可以使原來(lái)的線性算法“非線性”，即可以進(jìn)行非線性回歸。同時(shí)，通過(guò)引入核函數(shù)來(lái)達(dá)到“維數(shù)”的目的，可調(diào)參數(shù)的增加過(guò)擬合仍然可以控制。