中文文本自動分類算法研究.pdf

1、隨著Internet的迅猛發(fā)展和日益普及，電子文本信息迅速膨脹，如何有效地組織和管理這些信息，并快速、準(zhǔn)確、全面地從中找到用戶所需要的信息是當(dāng)前信息科學(xué)和技術(shù)領(lǐng)域面臨的一大挑戰(zhàn)。文本分類作為處理和組織大量文本數(shù)據(jù)的關(guān)鍵技術(shù)，可以在較大程度上解決信息雜亂現(xiàn)象的問題，方便用戶準(zhǔn)確地定位所需的信息和分流信息。而且作為信息過濾、信息檢索、搜索引擎、文本數(shù)據(jù)庫、數(shù)字化圖書館等領(lǐng)域的技術(shù)基礎(chǔ)，文本分類技術(shù)有著廣泛的應(yīng)用前景。 本文對文本分類

2、及其相關(guān)技術(shù)進(jìn)行了研究。從提高分類方法的快速性、準(zhǔn)確性和穩(wěn)定性出發(fā)，提出多種有效的解決或改進(jìn)的方法和技術(shù)。較系統(tǒng)地綜述了中文文本分類中自動分詞技術(shù)、特征提取技術(shù)、文本分類模型和性能評估技術(shù)的研究現(xiàn)狀和研究方法。較全面地討論了貝葉斯方法、k近鄰方法和AdaBoost等三種中文文本分類方法。作者采用三個模型，實(shí)現(xiàn)了樸素貝葉斯分類器、k近鄰分類器和Adaboost分類器三個中文文本分類器，集成了一個實(shí)用性較強(qiáng)的實(shí)驗(yàn)系統(tǒng)。 文中深入地分

3、析了k近鄰方法的不足，提出了改進(jìn)的k近鄰方法，有基于隱含語義，特征聚合，強(qiáng)化文本中語義鏈屬性因子與檢索相結(jié)合的迭代近鄰法四種方法進(jìn)行改進(jìn)，提高了分類器的性能。 重點(diǎn)討論了AdaBoost的相關(guān)問題。概述了boost理論的主要內(nèi)容和應(yīng)用情況。 Naive Bayesian分類器是一種有效的文本分類方法，但由于具有較強(qiáng)的穩(wěn)定性，很難通過Boosting機(jī)制提高其性能。因此用Naive分類器作為Boosting的基分類器需要解

4、決的最大問題，就是如何破壞Naive Bayesian分類器的穩(wěn)定性。提出了3種破壞Naive Bayesian學(xué)習(xí)器穩(wěn)定性的方法。第一種方法改變訓(xùn)練集樣本，第二種方法采用隨機(jī)屬性選擇社團(tuán)，第三種方法是在Boosting的每次迭代中利用不同的文本特征提取方法建立不同的特征詞集。實(shí)驗(yàn)表明，這幾種方法各有其優(yōu)缺點(diǎn)，但都比原有方法準(zhǔn)確、高效。 實(shí)驗(yàn)表明，三種分類器都適合于中文文本分類的需要，其中Adaboost分類器的分類性能最好。而