基于最大頻繁項集K-means的文本聚類算法研究及應用.pdf

1、隨著網(wǎng)絡技術的發(fā)展,網(wǎng)絡信息正在以幾何級速度迅速膨脹。如何通過信息融合進行在線信息的處理,特別是進行數(shù)據(jù)量巨大的文本信息處理,已成為一個亟待解決的難題。文本聚類作為一種無監(jiān)督的信息組織方法,在這一難題中發(fā)揮著重要的作用。文本聚類通過將大量文檔劃分到幾個有意義的分組,使得同一個分組中的文檔擁有更高的相關度,而不同分組間的文檔則盡可能不同,從而達到對文檔信息進行有效的組織的目的。本文研究了現(xiàn)有的文本聚類算法,分析并總結了每個算法的特點。引入

2、關聯(lián)規(guī)則中頻繁項集的概念,研究基于頻繁項集的聚類算法。最終提出了一種新型的采用最大頻繁項集與K-means相結合的二次聚類算法,改進了算法的聚類效果。
　　本文通過建立文檔數(shù)據(jù)庫模型,進行最大頻繁項集的挖掘。將包含相同最長最大頻繁項集的文檔聚集在一起,形成初始類簇。接著,提出一種新的基類選擇算法篩選部分初始類簇,作為K-means算法的初始聚類中心?？紤]到數(shù)據(jù)分布不均和類簇大小不一的特點,本文提出了二次聚類的思想:首先,通過最大頻

3、繁項集 K-means算法進行一次聚類,得到特征明顯或規(guī)模較大的類簇,保存他們的類簇中心;然后,將這些類簇中的文檔從文檔數(shù)據(jù)庫中去除,再次使用基于最大頻繁項集的算法選擇剩余文檔的聚類中心。最后,結合一次聚類結果中的類簇中心,對所有未分類的文檔進行 K-means聚類。本文的文本聚類算法的改進和創(chuàng)新點主要包括以下幾個方面:
　　(1)使用文檔間共享的最長最大頻繁項集進行初步聚類,提出最大頻繁項集對類簇的表達能力的概念,設計準則不等式

4、,進行基類的篩選。
　　(2)在一次聚類中,通過設置最小相似度閾值,改進了傳統(tǒng)的K-means算法。同時結合二次聚類思想,達到盡可能識別所有類簇,減少由于類簇識別不完全而導致的誤分類。
　　(3)整個聚類過程回避K-means聚類算法需要輸入預定義類簇數(shù)目的難題,通過在類簇生成和選擇的過程中設置參數(shù)的方式,達到自動獲得類簇個數(shù)的目的。
　　最后,論文在多個語料集上驗證本文提出的聚類算法。通過與同類算法的對比實驗表明,本