既然使用神經(jīng)網(wǎng)絡(luò)也可以解決分類問題，那SVM、決策樹這些算法還有什么意義呢？這取決于數(shù)據(jù)量和樣本數(shù)。不同的樣本數(shù)和特征數(shù)據(jù)適合不同的算法。像神經(jīng)網(wǎng)絡(luò)這樣的深度學(xué)習(xí)算法需要訓(xùn)練大量的數(shù)據(jù)集來建立更好的預(yù)

既然使用神經(jīng)網(wǎng)絡(luò)也可以解決分類問題，那SVM、決策樹這些算法還有什么意義呢？

這取決于數(shù)據(jù)量和樣本數(shù)。不同的樣本數(shù)和特征數(shù)據(jù)適合不同的算法。像神經(jīng)網(wǎng)絡(luò)這樣的深度學(xué)習(xí)算法需要訓(xùn)練大量的數(shù)據(jù)集來建立更好的預(yù)測(cè)模型。許多大型互聯(lián)網(wǎng)公司更喜歡深度學(xué)習(xí)算法，因?yàn)樗麄儷@得的用戶數(shù)據(jù)是數(shù)以億計(jì)的海量數(shù)據(jù)，這更適合于卷積神經(jīng)網(wǎng)絡(luò)等深度學(xué)習(xí)算法。

如果樣本數(shù)量較少，則更適合使用SVM、決策樹和其他機(jī)器學(xué)習(xí)算法。如果你有一個(gè)大的數(shù)據(jù)集，你可以考慮使用卷積神經(jīng)網(wǎng)絡(luò)和其他深度學(xué)習(xí)算法。

以下是一個(gè)圖表，用于說明根據(jù)樣本數(shù)量和數(shù)據(jù)集大小選擇的任何機(jī)器學(xué)習(xí)算法。

如果你認(rèn)為它對(duì)你有幫助，你可以多表揚(yáng)，也可以關(guān)注它。謝謝您

深度神經(jīng)網(wǎng)絡(luò)是否夸張地過擬合了？

這不可能是一樣的。

1. 過度裝配可分為許多情況。一是現(xiàn)在的情況太多了。這種神經(jīng)網(wǎng)絡(luò)能對(duì)許多情況給出正確的答案。即使它是過度安裝，你也無法證明它。此外，即使它能工作和排氣，也沒有壞處。

2. 是否過擬合與我們的神經(jīng)網(wǎng)絡(luò)模型和訓(xùn)練集有關(guān)。當(dāng)二者的組合過擬合時(shí)，它在訓(xùn)練集上運(yùn)行良好，在驗(yàn)證集上也會(huì)出現(xiàn)問題?，F(xiàn)在有一些方法可以對(duì)訓(xùn)練集的數(shù)據(jù)進(jìn)行預(yù)處理、多次輸入和多次訓(xùn)練。

3. 目前，過度擬合的問題是不可避免的。培訓(xùn)本身就是一種適應(yīng)過程。如果未來在數(shù)學(xué)原理或應(yīng)用這方面有質(zhì)的突破，可能有解決的機(jī)會(huì)。

請(qǐng)教大牛神經(jīng)網(wǎng)絡(luò)的過擬合問題？

你的問題很模糊。你想知道神經(jīng)網(wǎng)絡(luò)的過擬合是什么樣的嗎？為什么會(huì)有過擬合。對(duì)于第一個(gè)問題，神經(jīng)網(wǎng)絡(luò)的過擬合類似于支持向量機(jī)、高斯混合模型等建模方法的過擬合，說明訓(xùn)練數(shù)據(jù)集的建模效果很好，而測(cè)試數(shù)據(jù)集的建模效果很差，由于強(qiáng)學(xué)習(xí)能力是預(yù)測(cè)模型中的噪聲會(huì)湮滅有用信息，導(dǎo)致泛化能力差。對(duì)于第二個(gè)問題，產(chǎn)生上述現(xiàn)象的主要原因是隱層節(jié)點(diǎn)過多（隱層節(jié)點(diǎn)越多，學(xué)習(xí)能力越強(qiáng)），這使得預(yù)測(cè)模型在訓(xùn)練過程中挖掘訓(xùn)練數(shù)據(jù)集中的噪聲，即噪聲會(huì)湮滅有用信息。因此，在使用神經(jīng)網(wǎng)絡(luò)建模時(shí)，必須處理模型過擬合的問題。一方面，我們可以增加樣本數(shù)據(jù)集，另一方面，我們可以使用交叉驗(yàn)證來選擇適當(dāng)數(shù)量的隱層節(jié)點(diǎn)，在精度和泛化能力之間做出權(quán)衡。最常用的方法是加入正則化項(xiàng)，在一定程度上可以防止模型過擬合的問題。（機(jī)器學(xué)習(xí)算法和python學(xué)習(xí)）

為什么自然語言處理很難？

是非常困難的，但是它比自然語言處理在前20年的進(jìn)展要好得多。最近，因?yàn)槲覀兿胙芯咳斯ぶ悄茏匀徽Z言處理項(xiàng)目，我們一直在閱讀相關(guān)書籍，從數(shù)學(xué)的奧秘，統(tǒng)計(jì)理論，概率論等。！讀了這么多書之后，我發(fā)現(xiàn)很多東西都取決于你的堅(jiān)實(shí)基礎(chǔ)。為什么自然語言處理的頭20年如此困難，或者沒有進(jìn)展？簡(jiǎn)單地說，人的習(xí)慣性思維決定了你對(duì)事物的理解方式。

在過去的20年里，科學(xué)家對(duì)自然語言處理的研究一直局限于或局限于人類學(xué)習(xí)語言的方式。簡(jiǎn)而言之，就是用計(jì)算機(jī)來模仿人腦。當(dāng)時(shí)，大多數(shù)科學(xué)家認(rèn)為，機(jī)器要翻譯或識(shí)別語音，就必須讓計(jì)算機(jī)理解我們的語言，而要做到這一點(diǎn)，就必須讓計(jì)算機(jī)有能力模仿人類什么樣的智慧，這是人類理解的普遍規(guī)律，我們不應(yīng)該嘲笑他們，因?yàn)橹挥羞@樣的試錯(cuò)，才能取得今天的成就。

現(xiàn)在，語音識(shí)別和翻譯已經(jīng)做得很好了，但是很多不在我們機(jī)器學(xué)習(xí)研究領(lǐng)域的人仍然錯(cuò)誤地認(rèn)為語音識(shí)別和翻譯是通過理解自然語言的計(jì)算機(jī)來實(shí)現(xiàn)的，而這實(shí)際上是通過數(shù)學(xué)和統(tǒng)計(jì)學(xué)來實(shí)現(xiàn)的。

從規(guī)則到統(tǒng)計(jì)的進(jìn)步是人類對(duì)事物理解的突破。統(tǒng)計(jì)語言模型的建立是當(dāng)今自然語言處理的基礎(chǔ)和關(guān)鍵，但許多事物都會(huì)有其固有的缺陷，無法改變。

數(shù)的關(guān)系，公式的計(jì)算，n元模型在語言模型中的定位，為什么馬爾可夫假設(shè)中n的值這么小，涉及的知識(shí)太多，我這里不能一一回答。我只想說，純自然語言處理不像以前那么混亂，現(xiàn)在比以前好多了。困難不在于它本身，而在于它涉及太多的知識(shí)點(diǎn)。。。。

可以通過直接減少hidden layer、hidden unit而不是加正則化來解決神經(jīng)網(wǎng)絡(luò)過擬合嗎？

簡(jiǎn)單的答案是肯定的。復(fù)雜的答案是不確定的（見下文）。

這個(gè)概念。

（圖片作者：chabacano，許可證：CC by sa 4.0）

從圖像中可以明顯看出，過度擬合的曲線過于曲折（復(fù)雜），對(duì)現(xiàn)有數(shù)據(jù)擬合得非常好，但它不能很好地描述數(shù)據(jù)的規(guī)律，因此面對(duì)新數(shù)據(jù)，我們不得不停下來。

從上面我們得到一個(gè)直覺，過度擬合的模型往往比正確的模型更復(fù)雜。

。您所說的“直接減少隱藏層和隱藏單元的數(shù)量”使網(wǎng)絡(luò)更薄、更窄正是簡(jiǎn)化模型的方法。這個(gè)想法沒有問題。

但是，我們可能必須嘗試找出它是否有效。因?yàn)?，一般來說，更復(fù)雜的網(wǎng)絡(luò)可能更有表現(xiàn)力。

一般來說，神經(jīng)網(wǎng)絡(luò)仍然是一個(gè)黑匣子。有時(shí)，正則化的效果更好，有時(shí)則不然。一些問題可能是復(fù)雜的網(wǎng)絡(luò)工作得很好，另一些問題可能是深度和狹窄的網(wǎng)絡(luò)工作得很好，另一些問題可能是薄而寬的網(wǎng)絡(luò)工作得很好，或者一些問題可能是簡(jiǎn)單的網(wǎng)絡(luò)工作得很好。

具體來說，為了解決過擬合問題，除了簡(jiǎn)化模型（即您稱之為“直接減少隱藏層、隱藏層、隱藏層”）外，還存在漏項(xiàng)（在某種意義上，我們可以看到模型的某些部分由于簡(jiǎn)化模型的繞道而無法工作），以及人為增加稀疏性限制（稀疏性和簡(jiǎn)化之間存在模糊關(guān)系）或盡快停止訓(xùn)練。