神經(jīng)網(wǎng)絡(luò)dense層 如何利用遷移學(xué)習(xí)解決機器學(xué)習(xí)模型中分類數(shù)量增加的問題?
如何利用遷移學(xué)習(xí)解決機器學(xué)習(xí)模型中分類數(shù)量增加的問題?我們可以做的是將舊的機器學(xué)習(xí)模型集成到新的機器學(xué)習(xí)模型中(1)添加到新的機器學(xué)習(xí)模型中(2)。為了利用原始模型的最終狀態(tài),我們加載原始模型并將舊模
如何利用遷移學(xué)習(xí)解決機器學(xué)習(xí)模型中分類數(shù)量增加的問題?
我們可以做的是將舊的機器學(xué)習(xí)模型集成到新的機器學(xué)習(xí)模型中(1)添加到新的機器學(xué)習(xí)模型中(2)。為了利用原始模型的最終狀態(tài),我們加載原始模型并將舊模型的權(quán)重固定為未經(jīng)訓(xùn)練的權(quán)重,然后將新模型附加到舊模型的最后一個密集層。
這意味著我們指示模型不要反向傳播原始模型的層,以便它們保持不變(不要與舊模型中學(xué)習(xí)的內(nèi)容混淆),并且只在新模型上進行訓(xùn)練。
轉(zhuǎn)移學(xué)習(xí)策略2:
我們可以嘗試執(zhí)行轉(zhuǎn)移學(xué)習(xí)的另一種方法是直接將舊模型層添加到新序列模型中。
值得注意的是,您不必在整個模型訓(xùn)練期間確定體重。研究表明,如果在批之間交替訓(xùn)練,可以更好地利用舊模型并獲得更好的性能
在可訓(xùn)練批和未訓(xùn)練批之間開發(fā)定制回調(diào)。