隨機森林的模型選擇及其并行化方法.pdf

1、傳統(tǒng)的分類算法在低維度的數(shù)據(jù)集上面能夠獲得比較理想的分類效果,但是在高維度的數(shù)據(jù)集上它的分類性能則會出現(xiàn)較大的下降。高維數(shù)據(jù)結構復雜,包含更多的非信息和噪聲,隨機森林算法采用了特征子空間來構建模型,所以構建的模型難免會混雜很多的噪音,而利用這些包含噪音的模型進行預測分類將會降低隨機森林算法的分類效果。所以如何從眾多的模型中選擇適合的模型,使隨機森林算法在低維和高維的數(shù)據(jù)集上都能擁有較好的分類性能成為本課題的重點研究問題。同樣隨著模型的增

2、多,計算量也呈現(xiàn)指數(shù)值的增長,如何提高模型的構建以及預測速度,也是本課題的一個研究問題。
　　針對隨機森林的模型選擇以及海量并行化的模型構建預測等問題,本課題進行了深入的分析和研究,主要的研究內(nèi)容和研究成果如下所示:
　　首先,在對隨機森林算法的理論研究的基礎上,歸納和闡述了目前常用的隨機森林模型選擇方法,并且詳細地分析了這些方法的具體流程以及魯棒性,同時也研究了基于MapReduce框架的分布式并行化方法;
　　然后

3、,提出一種基于馬爾科夫鏈的隨機森林動態(tài)模型選擇方法,采用動態(tài)選擇的方式,融合隨機游走的馬爾科夫鏈思想,將模型、訓練樣本集和測試樣本分成三層,通過分類器的個體強度計算、分類器相互之間的相關性計算、每個測試樣本與訓練樣本集的相似性計算以及加權投票模型選擇四步來不斷進行上層到中層(中層到上層)、下層到中層(中層到下層)以及同層到同層的循環(huán)迭代,最后實現(xiàn)隨機森林的動態(tài)模型選擇。根據(jù)不同的低維和高維數(shù)據(jù)集與常用的模型選擇方法進行結果比較,證明了本

4、方法在 Out-of-Bag(OOB)誤差、算法強度、平均相關度、泛化誤差上界、分類準確率分類等五個方面的優(yōu)勢;
　　接著,提出了基于MapReduce框架的隨機森林并行化方法,通過對隨機森林模型構建以及投票的并行化進行改進,提高了隨機森林算法的運行效率;
　　最后,基于以上的研究成果,本文設計并實現(xiàn)了基于馬爾科夫鏈的隨機森林動態(tài)模型選擇及其并行化的原型系統(tǒng)。該系統(tǒng)包括數(shù)據(jù)輸入、參數(shù)配置、模型選擇、并行化調度接口等四個模塊,