預(yù)訓(xùn)練模型的意義？預(yù)訓(xùn)練模型是一種深度學(xué)習(xí)體系結(jié)構(gòu)，經(jīng)過訓(xùn)練可以對(duì)大量數(shù)據(jù)執(zhí)行特定任務(wù)（例如，識(shí)別圖像中的分類問題）。這種培訓(xùn)不容易進(jìn)行，通常需要大量資源。除了許多可以使用深度學(xué)習(xí)模型的人可以使用的資

預(yù)訓(xùn)練模型的意義？

預(yù)訓(xùn)練模型是一種深度學(xué)習(xí)體系結(jié)構(gòu)，經(jīng)過訓(xùn)練可以對(duì)大量數(shù)據(jù)執(zhí)行特定任務(wù)（例如，識(shí)別圖像中的分類問題）。這種培訓(xùn)不容易進(jìn)行，通常需要大量資源。除了許多可以使用深度學(xué)習(xí)模型的人可以使用的資源之外，我沒有大量的gpu。當(dāng)我們談?wù)擃A(yù)訓(xùn)練模型時(shí)，通常指的是在Imagenet上訓(xùn)練的CNN（視覺相關(guān)任務(wù)體系結(jié)構(gòu)）。Imagenet數(shù)據(jù)集包含1400多萬張圖像，其中120萬張圖像被分為1000個(gè)類別（約100萬張圖像包含邊界框和注釋）。

2培訓(xùn)前模型的定義

那么什么是培訓(xùn)前模型？這是一組重量值，在訓(xùn)練結(jié)束時(shí)效果很好，研究人員分享給其他人使用。我們可以在深度學(xué)習(xí)lib庫中找到許多有權(quán)重的庫，但是最簡(jiǎn)單的方法是直接從你選擇的深度學(xué)習(xí)庫中獲取。

現(xiàn)在，以上是預(yù)培訓(xùn)模型的標(biāo)準(zhǔn)定義。您還可以找到預(yù)先訓(xùn)練的模型來執(zhí)行其他任務(wù)，如目標(biāo)檢測(cè)或姿勢(shì)估計(jì)。

此外，最近研究人員已經(jīng)開始突破訓(xùn)練前模式的界限。在自然語言處理（使用文本的模型）的上下文中，我們已經(jīng)使用嵌入層一段時(shí)間了。單詞嵌入是一組數(shù)字的表示，其思想是相似的單詞將以某種有用的方式表達(dá)出來。例如，我們可以希望“鷹”、“鷹”和“藍(lán)鴉”的表達(dá)有一些相似之處，而在其他方面則有所不同。Word2vec是我最喜歡的關(guān)于嵌入層的論文之一，它源于Geoffrey Hinton在20世紀(jì)80年代的論文。

keras已訓(xùn)練好模型，一段時(shí)間后又有新數(shù)據(jù)，如何在已有模型基礎(chǔ)上繼續(xù)做增量訓(xùn)練？

我也是一個(gè)菜鳥，可以用作通信。。。

在我看來，如果網(wǎng)絡(luò)不需要調(diào)整（例如不添加新的類別），只需使用一個(gè)小的學(xué)習(xí)率來微調(diào)網(wǎng)絡(luò)的所有數(shù)據(jù)。

如果網(wǎng)絡(luò)結(jié)構(gòu)發(fā)生變化（如增加新的類別），在前期（如conv層）固定網(wǎng)絡(luò)參數(shù)，后期（如FC層）直接學(xué)習(xí)參數(shù)。然后放開凍結(jié)，微調(diào)大局。

如何提高keras模型預(yù)測(cè)速度？

一旦確定了keras模型，在不修改keras框架的源代碼的情況下，什么都不會(huì)改變。唯一的出路是擴(kuò)大GPU。

一般情況下，我們只能嘗試修改模型結(jié)構(gòu)、量化剪枝等方式，自行修改框架源代碼，沒有必要。

通常，為了加快模型的預(yù)測(cè)速度，只需加載一次模型即可。

當(dāng)模型的預(yù)測(cè)時(shí)間過長(zhǎng)時(shí)，通常采用減少卷積核、減少卷積核數(shù)、增加步長(zhǎng)、增加池單元等方法。一些參數(shù)較少的主干也可能被替換。

或者考慮使用移動(dòng)終端分離卷積和空穴卷積。

最后，默認(rèn)情況下，我們的模型由floaf32的精度表示，可以適當(dāng)量化。它以16位、8位甚至2位精度表示。只要模型的精度不顯著降低，且滿足使用場(chǎng)景，則是合理的。

如果您在這方面還有其他問題，請(qǐng)關(guān)注我，一起學(xué)習(xí)。