信息熵是什么？信息熵的概念來源于信息論。信息論奠基人香農(nóng)1948年將熱力學(xué)中的熵引入信息論，提出了信息熵（又稱香農(nóng)熵）。首先，我們需要了解什么是信息。香農(nóng)認(rèn)為信息是消除隨機(jī)不確定性的東西。舉個(gè)例子：3

信息熵是什么？

信息熵的概念來源于信息論。信息論奠基人香農(nóng)1948年將熱力學(xué)中的熵引入信息論，提出了信息熵（又稱香農(nóng)熵）。

首先，我們需要了解什么是信息。香農(nóng)認(rèn)為信息是消除隨機(jī)不確定性的東西。舉個(gè)例子：32支球隊(duì)中誰將贏得世界杯。一開始，如果我們不知道每個(gè)隊(duì)的情況，那么所有隊(duì)的獲勝概率都是相同的1/32。但是一旦我們得到一些信息，比如看之前的世界杯錦標(biāo)賽，我們發(fā)現(xiàn)來自歐洲和南美的球隊(duì)贏得了冠軍。有了這些信息，我可以消除一些不確定性，除了南美和歐洲的團(tuán)隊(duì)。然后可能還有10支隊(duì)伍，所以我猜的概率會變成1/10，大大增加。

信息可以減少事件的不確定性，因此需要更多的信息來確定不確定性事件。維度可以用來度量事件的不確定性，并具有所需的信息量。發(fā)現(xiàn)概率也可以表示事件的不確定性，概率越小，不確定性越大。

根據(jù)上述推理，我們可以用概率來描述事件的信息量。同時(shí)，概率越小，信息量越大。事件發(fā)生的概率由公式給出。例如，巴西有三分之一的機(jī)會獲勝。那么相應(yīng)的信息量約為1.58；而日本的中簽概率為1/60，信息量為5.9；可以看出，概率越低，消除不確定性所需的信息就越多。

信息熵實(shí)際上是每個(gè)事件的加權(quán)平均信息。對于誰將贏得世界杯的事件（x），信息熵是所有參賽隊(duì)（x）能贏得的信息量的加權(quán)平均值。