softmax交叉熵?fù)p失函數(shù) 為什么交叉熵cross-entropy可以用于計算代價?
為什么交叉熵cross-entropy可以用于計算代價?從人工智能角度來看,思維是由什么構(gòu)成的?思維除了包含邏輯還有什么?思考的起源是什么?還有什么是邏輯?要回答這個問題,我們必須首先了解我們在想什么
為什么交叉熵cross-entropy可以用于計算代價?
從人工智能角度來看,思維是由什么構(gòu)成的?思維除了包含邏輯還有什么?
思考的起源是什么?還有什么是邏輯?
要回答這個問題,我們必須首先了解我們在想什么?思維是人們思維的趨勢,是大腦的反映。它屬于意識形態(tài)范疇。它包括邏輯思維、立場立場、思想動力、人文環(huán)境、實現(xiàn)的目的和效果。人腦的思維活動是一個極其復(fù)雜的系統(tǒng)智能工程,它還受到時間、地點、社會環(huán)境、文化和生活條件的制約。例如,當(dāng)一個人處于好的時期,他的大部分思考活動都集中在對未來的憧憬和對幸福生活的希望上。一個人在逆境中,他的思想傾向于如何克服困難,走出困境,為自己找到生存的空間。因此,思維活動不是??怂菇⒌模桥c自己的社會背景有關(guān)的。對大多數(shù)人來說,平淡幸福的生活比成功更有意義。無論是在能力上還是在思想上,你都可能陷入理想與現(xiàn)實之間不可逾越的鴻溝。因此,正確的思想將在你的生活中起決定性的作用。
以上只是一些不成熟的個人觀點,愿意與朋友分享。
請問神經(jīng)網(wǎng)絡(luò)有多個輸出的回歸問題,損失函數(shù)如何定義比較合理?
在我看來,多重輸出和損失函數(shù)的類型選擇沒有直接關(guān)系。一般來說,使用交叉熵是沒有問題的,即使是最小均方誤差也不會產(chǎn)生顯著的影響。但是,最好添加一個帶有范數(shù)的正則化因子(計算量較少)。但是,輸出量有多大是影響算法收斂性的關(guān)鍵因素,因為如果輸出量太大,比如一千多,需要合并的話,那么可以試試分層softmax。有關(guān)代碼,請參閱word2vec。希望對你有幫助