為什么交叉熵cross-entropy可以用于計(jì)算代價(jià)？如果你是一個(gè)面試者，怎么判斷一個(gè)面試官的機(jī)器學(xué)習(xí)水平？請(qǐng)問(wèn)神經(jīng)網(wǎng)絡(luò)有多個(gè)輸出的回歸問(wèn)題，損失函數(shù)如何定義比較合理？在我看來(lái)，多重輸出與損失函數(shù)的

為什么交叉熵cross-entropy可以用于計(jì)算代價(jià)？

如果你是一個(gè)面試者，怎么判斷一個(gè)面試官的機(jī)器學(xué)習(xí)水平？

請(qǐng)問(wèn)神經(jīng)網(wǎng)絡(luò)有多個(gè)輸出的回歸問(wèn)題，損失函數(shù)如何定義比較合理？

在我看來(lái)，多重輸出與損失函數(shù)的類型選擇沒(méi)有直接關(guān)系。一般來(lái)說(shuō)，使用交叉熵是沒(méi)有問(wèn)題的，即使MSE也不會(huì)產(chǎn)生特別顯著的差異。但是，最好添加范數(shù)的正則化因子（計(jì)算量較少）。但是，輸出量有多大是影響算法收斂的關(guān)鍵因素，因?yàn)槿绻枰獙?duì)結(jié)果進(jìn)行歸一化也是非常費(fèi)時(shí)的，比如輸出量太多，比如一千多，那么可以考慮試試分層softmax，代碼可以看word2vec，希望對(duì)你有所幫助