基于W-BTM的短文本主題挖掘及文本分類應(yīng)用.pdf

1、隨著互聯(lián)網(wǎng)和各類社交網(wǎng)站以及電子商務(wù)的快速興起，以文本信息為代表的非結(jié)構(gòu)化信息大量涌現(xiàn)，從中挖掘出有價值的信息變得越來越重要，但同時復(fù)雜的語義也使得信息價值的提取變得越來越困難。尤其是短文本信息，其稀疏性和不完整性也給文本挖掘帶來了新的巨大挑戰(zhàn)。因此，對于文本信息挖掘的研究逐步轉(zhuǎn)向了對于短文本信息挖掘的研究。
　　BTM是一個針對短文本的主題挖掘模型，在處理短文本的稀疏性和不完整性問題上相對于其它主題模型有很大的優(yōu)勢。但包括BTM

2、模型在內(nèi)的現(xiàn)有文本挖掘模型，模型中都沒有特殊的參數(shù)設(shè)置等對其進(jìn)行處理，只是在數(shù)據(jù)預(yù)處理時加載停用詞表對其進(jìn)行刪除操作。而不同的語料選擇會有差異性，千篇一律的使用同樣的停用詞表并不具有科學(xué)性。因此，對于不同的語料集，應(yīng)該找出可以反映其文本特征的停用詞。
　　基于對上述短文本特點和停用詞處理的考慮，以差異系數(shù)作為權(quán)重模型，表示文本中詞語的權(quán)重，然后將其作為BTM模型的一個參數(shù)形成最終的W-BTM模型，從而消除短文本和停用詞對文本主題挖

3、掘的影響。模型中使用吉布斯抽樣對參數(shù)進(jìn)行估計，從潛在變量的先驗分布中抽樣，對后驗參數(shù)進(jìn)行估計。最后將模型應(yīng)用于當(dāng)當(dāng)網(wǎng)圖書簡介數(shù)據(jù)，使用支持向量機(jī)對W-BTM模型產(chǎn)生的結(jié)果矩陣進(jìn)行分類，并對比不同模型的分類結(jié)果，證明W-BTM模型的優(yōu)越性。
　　W-BTM模型在整個語料集中尋找“詞對”的前提是“詞對”中每個詞在整個文檔中的權(quán)重即差異系數(shù)已知。在這種情況下，“詞對”有了更深層次的含義，它不再只是單一的表示文檔中同時出現(xiàn)的兩個詞語，而且

4、還代表著詞語本身的性質(zhì)，即是否為停用詞。這就可以消除停用詞的不恰當(dāng)選擇對于文本信息挖掘準(zhǔn)確性的影響。
　　為了驗證W-BTM的有效性和科學(xué)性，以LDA模型和BTM模型做對比進(jìn)行文本分類實驗和應(yīng)用，從主題挖掘和文本分類兩個角度對整個的實驗結(jié)果進(jìn)行評價，最終證明了W-BTM模型的分類效果優(yōu)于LDA模型和BTM模型。
　　本文的創(chuàng)新之處如下：
　?。?）對于停用詞的處理，拋棄傳統(tǒng)的選擇停用詞表并將停用詞直接去除的方法，而是使

5、用權(quán)重模型取而代之，使得文本挖掘的結(jié)果更加科學(xué)和準(zhǔn)確。
　?。?）將權(quán)重模型與BTM模型相結(jié)合，形成新的主題模型W-BTM，既可以用于短文本的分類，解決短文本的稀疏性問題，也彌補(bǔ)了數(shù)據(jù)預(yù)處理時停用詞處理的漏洞。
　?。?）將W-BTM模型應(yīng)用于當(dāng)當(dāng)網(wǎng)圖書簡介分類，賦予模型更加實際的現(xiàn)實意義。通過對數(shù)據(jù)不平衡性的處理、W-BTM模型的使用以及支持向量機(jī)對于文本-主題矩陣的分類，最終驗證了W-BTM模型的有效性。針對分類結(jié)果，將