一種基于特征選擇的層次化文本分類算法.pdf

1、隨著網(wǎng)絡(luò)的普及,人們每天都要對Web上海量的數(shù)據(jù)進(jìn)行處理,而Web上的數(shù)據(jù)大多以文本形式存在。如何對這些文本進(jìn)行分類,首先是通過訓(xùn)練集獲取的類別特征構(gòu)建文本分類器,將待分類的文本輸入到構(gòu)建好的文本分類器中,然后將其劃分到相應(yīng)的類別中。但是在傳統(tǒng)的文本分類中,并沒有考慮類別間存在的層次關(guān)系,而簡單的認(rèn)為所有類別相互之間沒有交集,同處于一個平面中,從而使得特征間存在著大量的冗余,因此如何結(jié)合類別的之間的層次結(jié)構(gòu)對文本進(jìn)行分類就是一個具有實(shí)際

2、意義的課題。此外當(dāng)數(shù)據(jù)集的分布不均衡時,如何提高不均衡數(shù)據(jù)集的分類精度,這也是目前文本分類方面一個重要的研究方向。
　　本文首先對文本分類以及特征選擇的背景和理論進(jìn)行了概述,同時簡要的介紹了目前文本分類的國內(nèi)外研究現(xiàn)狀與熱點(diǎn)。在此基礎(chǔ)上,進(jìn)一步對層次化文本分類進(jìn)行了深入的分析與研究,從兩個方面重點(diǎn)分析了層次化文本分類中影響其性能和效果的因素,首先從特征選擇的角度,對特征選擇方法進(jìn)行了分析,引入了層次相關(guān)度和層次冗余度等概念,提出了

3、一種rrHTC算法用于剔除文本的冗余特征,減少了冗余特征對文本分類精度的影響,其次從改進(jìn)分類算法的角度,針對SVM-KNN分類算法在面對不均衡數(shù)據(jù)集時的分類精度不高這一不足,通過引入樣本中心距等概念,對SVM-KNN算法進(jìn)行了改進(jìn),提出了c-SVM-KNN算法。最后本文通過采用20NewsGroups以及從門戶網(wǎng)站網(wǎng)易上抓取的網(wǎng)頁這兩個數(shù)據(jù)集,對rrHTC算法以及c-SVM-KNN算法進(jìn)行驗(yàn)證,并對它們的結(jié)果進(jìn)行分析,實(shí)驗(yàn)結(jié)果表明,通過