文本分類中基于綜合度量特征選擇算法的研究.pdf

1、文本分類是一個傳統(tǒng)而又歷久彌新的話題，在互聯(lián)網(wǎng)技術日益發(fā)達的今天，其應用越來越廣泛。在文本分類的過程中，由于用特征向量表示文本時的高維性、高稀疏度等特點，特征選擇顯得特別重要。
　　在研究文本分類時，發(fā)現(xiàn)詞頻特征選擇忽略了特征的類內重要度和類間分散度，而χ2統(tǒng)計量特征選擇只考慮了特征的類內重要度。針對詞頻和χ2統(tǒng)計量兩種特征選擇算法的不足，提出了三種基于綜合度量的特征選擇算法：基于平衡因子的詞頻特征選擇、基于平衡因子的χ2統(tǒng)計量特

2、征選擇以及基于過濾器的χ2統(tǒng)計量特征選擇。改進的前兩種算法通過引入權重平衡因子，將特征的類內重要度和類間分散度線性組合起來，通過調節(jié)權重平衡因子來調整類內重要度和類間分散度在特征評分中的貢獻度，有效地解決了詞頻和χ2統(tǒng)計量兩種特征選擇算法的不足?；谶^濾器的χ2統(tǒng)計量特征選擇在傳統(tǒng)的χ2統(tǒng)計量特征選擇的結果集上，用類間分散度進行過濾，剔除類間分散度小于給定閾值的特征，從而得到效果更優(yōu)的特征子集。
　　設計并實現(xiàn)了包含多項式樸素貝葉