自編碼器及其幾種變種(自編碼器特征分類？)
自編碼器特征分類？自編碼特征分為稀疏自編碼、去噪自編碼和收縮自編碼。變分自編碼(VAE)和生成對策網(wǎng)絡(luò)(GAN)一樣，是無監(jiān)督學習中最有前途的方法之一。在這篇論文中，牛津大學統(tǒng)計系博士生Adam Ko
自編碼器特征分類？自編碼特征分為稀疏自編碼、去噪自編碼和收縮自編碼。
變分自編碼(VAE)和生成對策網(wǎng)絡(luò)(GAN)一樣，是無監(jiān)督學習中最有前途的方法之一。在這篇論文中，牛津大學統(tǒng)計系博士生Adam Kosiorek原則上向我們介紹了VAE目前面臨的挑戰(zhàn)。同時，本文還對該方法提出了幾個改進方向。
隱藏變量模型
假設(shè)你想通過一個定義在x∈RD上的概率分布來建模整個世界，其中p(x)代表x的可能狀態(tài)，世界可能如此復(fù)雜，以至于我們可以 我不知道p(x)的具體形式。為了解決這個問題，我們引入了另一個變量z∈Rd來描述X的背景信息，例如，如果X是一幅圖像，那么Z可以記錄圖像中可見物體的外觀、數(shù)量和類型等信息，以及圖片的背景和光照條件。這個新變量使我們能夠?qū)(x)表示為一個無限混合模型。
這是一個混合模型，因為對于z的任何可能值，引入另一個條件分布，用z的概率加權(quán)，最后得到p(x)。
在這種情況下， "給定X的觀測值，什么是隱藏變量Z "變成了一個非常有趣的問題。
換句話說，我們想知道p(z∣x).的后驗分布但是Z和X之間可以存在高度非線性的關(guān)系(比如可以用多層神經(jīng)網(wǎng)絡(luò)來實現(xiàn))，D—我們觀測的維數(shù)和D—隱變量的維數(shù)也可能非常大。由于邊際分布和后驗分布都需要求公式(1)的積分，所以我們認為它們都是不可數(shù)的。
我們可以通過蒙特卡羅抽樣根據(jù)p(x)?1m∑mm = 1p(x∣z(m))p(x)