隨機森林的特征選擇和模型優(yōu)化算法研究.pdf

1、集成學習的興起，為分類方法的設計提供了一個新的研究方向。隨機森林是在眾多集成方法中逐漸發(fā)展起來的一種分類器集成學習的方法，在實際中得到廣泛應用，成為數據挖掘、人工智能、機器學習、模式識別等領域的研究人員以及工程應用領域中的技術人員共同關心的一個研究熱點。
　　隨機森林在降低分類系統(tǒng)泛化誤差、簡化分類器設計等方面表現優(yōu)良，但是隨機森林方法并不完美，從實際應用中看，還有著大量進一步提升精度，降低泛化誤差的需求。
　　本文在介紹集

2、成學習和隨機森林的研究現狀、算法思想的基礎上，重點分析了隨機森林的優(yōu)缺點，并提出了一些改進的方案，進行了大量的實驗分析，完成了以下研究工作：
　　(1)在分析了隨機森林集成的強度和相關度之間的關系的基礎上，提出了一種新的特征選擇算法。為了降低隨機森林的泛化誤差上界，提高森林整體性能，在綜合考慮強度和相關度之間相互影響的關系后，利用卡方檢驗進行特征的相關性評估，依據評估的結果在特征空間進行有區(qū)分的隨機選擇特征。經實驗驗證，這種方法在

3、保留原始算法所有的優(yōu)點的基礎上，可以進一步的降低隨機森林的誤差上界，提高泛化精度；
　　(2)在理解單個分類樹與集成的整體效果之間的關系后，進一步對分類樹之間關系進行了分析，設計了一種基于層次聚類的模型選擇算法。通過將符合度量標準的分類樹不斷凝聚在一起，再從中尋求代表樹進行參與森林的集成。提出了樹與樹之間的相似性度量，并在實驗中使用多種度量比較分析，該模型選擇算法可以提高樹與樹之間的差異度，利用較少的樹就可以提高森林的分類精度；<