如何計(jì)算隨機(jī)森林中的，變量重要性？首先，對(duì)于每一棵樹，每次都用bootstrap方法提取樣本進(jìn)行訓(xùn)練，但是有1/3的數(shù)據(jù)沒(méi)有提取出來(lái)，所以稱為out-of-bag data（OOB），將OOB引入決策

如何計(jì)算隨機(jī)森林中的，變量重要性？

首先，對(duì)于每一棵樹，每次都用bootstrap方法提取樣本進(jìn)行訓(xùn)練，但是有1/3的數(shù)據(jù)沒(méi)有提取出來(lái)，所以稱為out-of-bag data（OOB），將OOB引入決策樹，計(jì)算誤差error1。對(duì)OOB中所有樣本的特征X對(duì)應(yīng)的值進(jìn)行噪聲干擾，即隨機(jī)改變特征值，然后將數(shù)據(jù)引入決策樹，計(jì)算誤差2。

對(duì)于n個(gè)樹，變量x的重要性計(jì)算為error2-error1的平均值

adaboost隨機(jī)森林什么關(guān)系？

隨機(jī)林將對(duì)變量進(jìn)行子采樣，例如，變量為p。隨機(jī)林每次將隨機(jī)選擇log p變量來(lái)擬合決策樹。顯然，隨機(jī)森林適合于大磷比的情況。否則，logp可能為1.2。這種情況毫無(wú)意義。AdaBoost與gbdt非常相似，可以理解前者是后者的特例。適合p相對(duì)較小時(shí)使用。當(dāng)然，這兩種方法都只適用于N>>P情形，即樣本攜帶足夠的信息來(lái)擬合非線性關(guān)系。也就是說(shuō)，隨機(jī)森林不適合于P特別大的情況，如果P>>N，則以Lasso為首的懲罰回歸為首選工具。