神經(jīng)網(wǎng)絡(luò)用GPU加速訓(xùn)練，用Quadro系顯卡好還是GTX10系好？為什么？主要是CUDA的核數(shù)越多越好。計(jì)算主要依賴于它，其次是視頻存儲(chǔ)器、內(nèi)部頻率等。當(dāng)然，也可以考慮性價(jià)比。這對(duì)錢不壞。直接轉(zhuǎn)到T

神經(jīng)網(wǎng)絡(luò)用GPU加速訓(xùn)練，用Quadro系顯卡好還是GTX10系好？為什么？

主要是CUDA的核數(shù)越多越好。計(jì)算主要依賴于它，其次是視頻存儲(chǔ)器、內(nèi)部頻率等。當(dāng)然，也可以考慮性價(jià)比。這對(duì)錢不壞。直接轉(zhuǎn)到Titan系列

與GPU顯卡、FPGA等用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)的高功率、高性能設(shè)備不同，神經(jīng)網(wǎng)絡(luò)計(jì)算棒往往使用訓(xùn)練過的模型來提供預(yù)測(cè)服務(wù)。與需要巨大計(jì)算能力的訓(xùn)練模型相比，預(yù)測(cè)服務(wù)的計(jì)算量大大減少。主要應(yīng)用場(chǎng)景是移動(dòng)終端設(shè)備（如清掃機(jī)器人、送貨機(jī)器人等），受計(jì)算能力和功耗的制約，不能使用Wi-Fi模塊實(shí)時(shí)維護(hù)網(wǎng)絡(luò)，不能使用大功率GPU圖形卡。神經(jīng)網(wǎng)絡(luò)計(jì)算棒是最好的解決方案。

神經(jīng)網(wǎng)絡(luò)計(jì)算棒的算力能與和GPU在機(jī)器學(xué)習(xí)/深度學(xué)習(xí)方面匹敵嗎？

其實(shí)這個(gè)問題的實(shí)質(zhì)是，如果我們用機(jī)器學(xué)習(xí)算法對(duì)數(shù)據(jù)集上的數(shù)據(jù)模型進(jìn)行一次訓(xùn)練，保存模型，然后用同樣的算法和同樣的數(shù)據(jù)集以及數(shù)據(jù)排序?qū)ζ溥M(jìn)行再次訓(xùn)練，那么第一個(gè)模型和第二個(gè)模型是一樣的嗎？

這可能是因?yàn)樯窠?jīng)網(wǎng)絡(luò)用增益或權(quán)重的隨機(jī)值初始化，然后每個(gè)模擬在訓(xùn)練階段有不同的起點(diǎn)。如果您希望始終保持相同的初始權(quán)重，可以嘗試為初始權(quán)重修復(fù)種子以消除問題。

如果我們深入研究這個(gè)問題，我們可以根據(jù)ml算法的“確定性”來對(duì)其進(jìn)行分類。當(dāng)從同一個(gè)數(shù)據(jù)集進(jìn)行訓(xùn)練時(shí)：

一個(gè)是總是生成相同的模型，并且記錄以相同的順序呈現(xiàn)；

另一個(gè)是總是生成不同的模型，并且記錄順序不同。

在實(shí)踐中，大多數(shù)是“不確定的”。模型變化的原因可能是機(jī)器學(xué)習(xí)算法本身存在隨機(jī)游走、不同權(quán)值的隨機(jī)初始化、不同分量的概率分布抽樣來分配優(yōu)化函數(shù)。

雖然模型的“不確定性”可能會(huì)對(duì)單個(gè)訓(xùn)練結(jié)果造成干擾，但我們也可以用“不確定性”來確認(rèn)模型的穩(wěn)定性，如決策樹、支持向量機(jī)（SVM）、神經(jīng)網(wǎng)絡(luò)等，最終可以通過多次迭代來確認(rèn)模型的穩(wěn)定性。