正則化的通俗解釋 正則化的方法是什么?
正則化的方法是什么?定義:正則化是指在線性代數(shù)理論中,不適定問題通常由一組線性代數(shù)方程組來定義,這些方程組通常來源于具有大量條件的不適定反問題。條件數(shù)過大意味著舍入誤差或其他誤差會嚴(yán)重影響問題的結(jié)果。
正則化的方法是什么?
定義:正則化是指在線性代數(shù)理論中,不適定問題通常由一組線性代數(shù)方程組來定義,這些方程組通常來源于具有大量條件的不適定反問題。條件數(shù)過大意味著舍入誤差或其他誤差會嚴(yán)重影響問題的結(jié)果。另外,我們給出了一個(gè)解釋性的定義:對于線性方程AX=B,當(dāng)解X不存在或不唯一時(shí),就是所謂的不適定問題。但是在很多情況下,我們需要解決不適定問題,那么怎么辦呢?對于解不存在的情況,通過增加一些條件來尋找近似解;對于解不唯一的情況,通過增加一些限制來縮小解的范圍。這種通過增加條件或限制來解決病態(tài)問題的方法稱為正則化方法。正則化就是正則化,就是正則化和調(diào)整。通過一些調(diào)整或其他方法,病態(tài)問題也可以得到唯一的解決方案。在這個(gè)平差過程中,采用的技術(shù)是正則化技術(shù),采用的方法是正則化方法。求解線性方程組的標(biāo)準(zhǔn)方法是最小二乘法,即求解最小值,對于病態(tài)的線性方程組,Tikhonov提出的方法稱為Tikhonov矩陣
簡而言之,機(jī)器學(xué)習(xí)就是根據(jù)樣本數(shù)據(jù)訓(xùn)練模型,然后用這個(gè)模型計(jì)算出測試數(shù)據(jù)的輸出值。由于樣本數(shù)據(jù)存在一定的誤差,訓(xùn)練后的模型容易出現(xiàn)“過擬合”(即模型與樣本數(shù)據(jù)幾乎匹配,但不是實(shí)際模型)。正則化是為了解決“過擬合”問題,使模型更接近實(shí)際情況,防止被錯(cuò)誤的樣本數(shù)據(jù)“偏誤”。
在上圖中,圖1擬合不足(通常是因?yàn)闃颖緮?shù)據(jù)太少),圖2擬合過度。該模型雖然與樣本數(shù)據(jù)完全吻合,但過于復(fù)雜和陌生,明顯脫離實(shí)際。圖3是添加正則化后接近真實(shí)模型的結(jié)果。
機(jī)器學(xué)習(xí)中常常提到的正則化到底是什么意思?
說白了,正則化就是給原來的極值函數(shù)增加不確定性,也就是說,你不能滿足你給出的所有數(shù)據(jù)集。那對你的健康有害。我會添加一些隨機(jī)性和懲罰因素,讓你保留一些。