KNN文本分類中基于遺傳算法的特征提取技術(shù)研究.pdf

1、文本分類是數(shù)據(jù)挖掘中一個重要的研究領(lǐng)域,KNN文本分類算法是一種基于實例的、非參數(shù)的文本分類方法,是向量空間模型(VSM)下最好的文本分類方法之一。其主要步驟有:文本分詞,特征提取(特征權(quán)重的計算和特征詞的選擇),表示特征模型的建立,訓(xùn)練分類器。其中處于文本分類系統(tǒng)核心地位的是特征提取,特征提取方法的好壞對文本分類的結(jié)果有重要影響。傳統(tǒng)的特征提取方法是屬于基于統(tǒng)計的方法,如文檔頻度(DF)、期望交叉熵(ECE)、幾率比(OR)、信息增益

2、(IG)、互信息(MI)、X2統(tǒng)計(CHI)、術(shù)語強度等。以上方法存在諸多不足:當類別和特征分布高度不平衡時,不能有效地處理低頻詞:對于單個特征的處理不當,導(dǎo)致局部最優(yōu)解的產(chǎn)生等。此外,KNN分類算法中能否選取合適的K值會影響分類結(jié)果的質(zhì)量,采取固定K值的方法有其自身的缺陷,它忽略了訓(xùn)練文本類別和文檔數(shù)目對K值的影響,如果K值過大,在選擇K個近鄰的時候,分類結(jié)果易趨向于文本數(shù)目較多的類別,分類性能較差;而K值選擇過小,得到的近鄰數(shù)少,會

3、降低分類精度,同時也放大了噪聲數(shù)據(jù)的干擾。
　　 針對特征提取技術(shù)中的問題,本文提出基于遺傳算法的特征提取算法,此方法將詞條的X2統(tǒng)計值引入到特征向量中,X2統(tǒng)計值能標識詞條與類別的關(guān)聯(lián)度的大小,將此種向量作為遺傳算法的初始種群進行啟發(fā)式搜索能提高分類的準確率,與此同時,針對特征提取的性質(zhì),本文提出新的適應(yīng)度函數(shù)和交叉規(guī)則。實驗表明,基于遺傳算法的特征提取算法能選擇出準確表征文本類別的特征項。
　　 針對KNN分類算法采