基于遺傳算法的決策樹優(yōu)化算法研究.pdf

1、隨著網(wǎng)絡(luò)技術(shù)和數(shù)據(jù)庫管理系統(tǒng)的快速發(fā)展,不同領(lǐng)域的企業(yè)內(nèi)部都積累了海量的數(shù)據(jù),這使得以往的數(shù)據(jù)分析工具和技術(shù)已經(jīng)無法滿足數(shù)據(jù)信息處理的需求,進(jìn)而造成數(shù)據(jù)資源的巨大浪費(fèi)。于是如何尋找這些數(shù)據(jù)中所存在的巨大信息和知識,為企業(yè)所用,成為人們關(guān)注的新視角。數(shù)據(jù)挖掘就是自動發(fā)現(xiàn)海量數(shù)據(jù)中隱含的、有潛在用途知識的一種新技術(shù)。其中,分類和預(yù)測是一種重要的數(shù)據(jù)挖掘研究任務(wù)。
　　目前,決策樹算法以其分類的準(zhǔn)確率高、速度快、分類規(guī)則易于理解而作為數(shù)

2、據(jù)挖掘分類技術(shù)中最常用的方法,評價決策樹性能好壞主要取決于決策樹模型分類預(yù)測的準(zhǔn)確率和復(fù)雜度。C4.5作為經(jīng)典的決策樹分類算法,具有很好的分類精度(準(zhǔn)確率),但是由于其在樹的構(gòu)造過程中采用貪心算法,因此構(gòu)造的決策樹往往存在過度擬合,規(guī)模過大等缺陷。而遺傳算法是一種全局優(yōu)化的智能搜索算法,具有潛在的并行性和可擴(kuò)展性,容易與其他算法相結(jié)合。因而,將遺傳算法組合應(yīng)用到?jīng)Q策樹分類算法 C4.5中,通過兩種不同的思路對決策樹進(jìn)行優(yōu)化:
　　

3、(1)通過深入分析決策樹經(jīng)典算法C4.5的基本原理,總結(jié)出該算法在平衡決策樹的分類精度和規(guī)模控制等方面的不足,從實用的角度提出了在構(gòu)建決策樹時應(yīng)權(quán)衡好決策樹的分類精度和樹的規(guī)模。針對遺傳算法具有搜索全局最優(yōu)的特點,第四章將遺傳算法直接用于決策樹的優(yōu)化,由于 C4.5算法生成的決策樹分類精度還是較高的,則先利用 C4.5算法生成初始的決策樹種群,可以有效地避免遺傳算法剛開始盲目的搜索,但由于樹的不易編碼性,于是將初始種群中的決策樹轉(zhuǎn)換成相

4、應(yīng)的規(guī)則集,然后對規(guī)則集進(jìn)行編碼,通過設(shè)定適當(dāng)?shù)倪m應(yīng)度函數(shù)和遺傳操作,從而得到優(yōu)化后的決策樹。
　　(2)在現(xiàn)實生活中,數(shù)據(jù)集中的屬性對分類問題并不都是有效的,有些可能是不相關(guān)、冗余的屬性,因而在數(shù)據(jù)集進(jìn)行分類之前,對屬性集進(jìn)行合理的約簡具有很好的研究價值。于是第五章提出利用遺傳算法的全局尋優(yōu)能力首先對數(shù)據(jù)的屬性集進(jìn)行約簡,借助粗糙集理論對適應(yīng)度函數(shù)進(jìn)行合理的構(gòu)造,從而得到約簡的分類屬性組合,然后對約簡后的屬性集再利用經(jīng)典的 C4