用同一數據集訓練神經網絡，每次訓練結果不一樣，有時正確率很高，有時很低，為什么？其實這個問題的實質是，如果我們用機器學習算法在數據集上訓練一次數據模型，保存模型，然后用同樣的算法和同樣的數據集和數據排

用同一數據集訓練神經網絡，每次訓練結果不一樣，有時正確率很高，有時很低，為什么？

其實這個問題的實質是，如果我們用機器學習算法在數據集上訓練一次數據模型，保存模型，然后用同樣的算法和同樣的數據集和數據排序再訓練一遍，第一個模型和第二個模型是一樣的嗎？

這可能是因為神經網絡用增益或權重的隨機值初始化，然后每個模擬在訓練階段有不同的起點。如果您希望始終保持相同的初始權重，可以嘗試為初始權重修復種子以消除問題。

如果我們深入研究這個問題，我們可以根據ml算法的“確定性”來對其進行分類。當從同一個數據集進行訓練時：

一個是總是生成相同的模型，并且記錄以相同的順序呈現(xiàn)；

另一個是總是生成不同的模型，并且記錄順序不同。

在實踐中，大多數是“不確定的”。模型變化的原因可能是機器學習算法本身存在隨機游走、不同權值的隨機初始化、不同分量的概率分布抽樣來分配優(yōu)化函數。

雖然模型的“不確定性”可能會對單個訓練結果造成干擾，但我們也可以用“不確定性”來確認模型的穩(wěn)定性，如決策樹、支持向量機（SVM）、神經網絡等，最終可以通過多次迭代來確認模型的穩(wěn)定性。

機器學習的訓練數據集是什么格式的？

機器學習的訓練數據集是VBP格式的。visualbasic工程由窗口、程序代碼模塊、ActiveX控件和應用程序所需的環(huán)境設置組成。在應用程序設計過程中，visualbasic保存了一個擴展名為VBP的工程文件。項目文件列出了應用程序所需的所有文件，包括表單和程序代碼模塊。此外，項目文件還列出了所有使用的程序構建塊，如ActiveX控件。項目本身并不控制這些文件和程序構建塊，因此用戶可以在多個項目中使用同一個文件。當用戶打開項目時，將加載項目文件中列出的文件。除項目文件外，項目還包括表單文件、ActiveX控件、visualbasic類模塊、資源文件、用戶控件、用戶文檔和ActiveX設計器。?在組織工程中，最好為每個項目創(chuàng)建一個單獨的目錄。?完成應用程序后，如果要發(fā)布，必須先將其編譯成可執(zhí)行文件。編譯應用程序就是創(chuàng)建一個可執(zhí)行文件，其中包括特定項目的表單和代碼模塊。我希望我能幫助你。

對數據集訓練時，只對訓練集進行訓練還是都訓練？

如果您想測試您自己的數據集，您需要將其分為訓練集、驗證集和測試集。

我們訓練機器學習模型使用現(xiàn)有數據預測未知數據。我們通常把模型對未知數據的預測能力稱為泛化能力。為了評價模型的泛化能力，通常將數據分為訓練集和測試集。訓練集用來訓練模型，測試集用來評價模型的泛化能力。

這里有幾點需要注意：

通常80%的數據集用作訓練集，20%用作測試集；

通常我們需要在開始構建模型之前劃分數據集，以防止數據窺探錯誤，也就是說，我們應該避免過多地了解測試集的樣本特征，并且防止我們選擇對測試集數據有幫助的模型，這將導致過度的結果，一般來說，我們在建立模型時需要對數據進行處理，包括一些數據清洗、數據特征縮放（標準化或規(guī)范化）。此時，我們只需要對訓練集執(zhí)行這些操作，然后將從訓練集獲得的參數應用到測試集，也就是說在工作流中，您不能使用在測試數據集上計算的任何結果。例如，我們得到的屬性中可能缺少值，因為在這些操作之前，我們已經將數據集劃分為訓練集和測試集。通常的做法是通過計算屬性值的中值來填充缺少的值。請注意，屬性值的中值是由訓練集中的數據計算的。當我們得到一個模型時，如果你想在模型的測試誤差要被測試到近似泛化誤差的時候，測試集中可能會有一些缺失的值。此時，由訓練集計算的中值填充相應屬性的缺失值。

機器學習中訓練集，驗證集和測試集的作用分別是什么？

機器學習中使用的數據集可分為訓練集、驗證集和測試集。其中，訓練集用于訓練模型并定義模型參數；有效集用于選擇模型的超參數，如學習率、批量大小、損失函數等；測試集用于測試模型確定后模型在實際數據中的效果。

比如準備高考，訓練集就是平時通過做習題來掌握知識點的習題；驗證集就像每個月的考試，來測試自己一段時間內學習方法的效果。如果考試不好，他們需要及時總結和調整自己的學習方法；那么高考期末就是考試套，都是全新的試題，真正能改進自己的學習方法考驗你這三年的學習成績。

另外，通過分析模型在不同數據集中的結果，可以快速分析存在的問題。例如，判斷模型是否過擬合。以訓練分類任務為例，優(yōu)化目標是準確度。如果訓練集上的精度很差，而驗證集上的效果也很差，則說明當前模型是欠擬合的，需要通過增加訓練次數和擴展模型的復雜度來改進模型。如果訓練集的精度很高，但是驗證集的效果很差，在這種情況下，模型會出現(xiàn)過擬合，泛化性能較差，需要進一步調整模型的超參數。如果訓練集和驗證集的精度很高，但對測試集的影響很差，則需要檢查測試集的數據分布是否與訓練集有太大的差異，或者需要進一步增加數據量來提高模型對測試集的影響。

機器學習中訓練集、驗證集(開發(fā)集)、測試集如何劃分？需要注意什么？

首先，我們需要了解訓練集、驗證集和測試集的含義。簡單地說：

1。訓練集用來訓練模型并調整相應的參數（如權重）。驗證集用于調整模型的超參數（如體系結構、訓練前已確定的參數，如有多少高度）層，這就是為什么也稱為開發(fā)集的原因）

3。測試集是用來獲得最終模型的性能，比如精度

有了這個常識，你就知道怎么劃分了。例如，如果你有一個數據集，你需要先做它

，如下圖所示，只有有了這個基礎，測試和驗證集才有意義。

至于如何劃分，我們需要看具體案例，參考斯坦福大學的深度學習課程https://cs230-stanford.github.io/train-dev-test-split.html沒有具體的標準，但是盡量使驗證集和測試集不要太少，例如1000000個圖片集，驗證和測試集不應小于10000，即1%。如果數據量不夠大，通常是80-10-10的比例：

注意：隨機不是完全隨機的，它需要保證可重復性

好的，關這個話題就到此為止。如果遇到類似問題，如何找到正確答案？首先，你需要找到第一手資料。與其在百度上搜索，不如直接找到基本信息。在這種情況下，斯坦福學校的課程作為輸入，所以你不會誤入歧途。

歡迎關注“行知漫步”，共同學習和探討新技術的應用