基于Web文本的聚類算法的應(yīng)用研究.pdf

1、隨著因特網(wǎng)的訊速發(fā)展，互聯(lián)網(wǎng)的數(shù)據(jù)信息量越來越大。如何對互聯(lián)網(wǎng)的信息進行分析，便捷準確的挖掘出需要的信息知識急需解決。對聚類分析的研究可在相當程度上解決這個問題，不僅可以節(jié)省時間，并且可以提高效率。將聚類研究理論用于Web挖掘具有深刻的理論意義和重要的實際價值。本文從理論和實踐兩個方面分析與研究了聚類技術(shù)在Web文本挖掘中的應(yīng)用。 Web文本挖掘涉及眾多領(lǐng)域的重要內(nèi)容，包括：數(shù)據(jù)挖掘、信息檢索、智能算法等。而本文研究的文本聚類

2、技術(shù)是其中的重要內(nèi)容之一，它不僅是一種非指導學習方法，而且不需干涉，可由計算機自動處理。 本文研究的重點是通過文本聚類技術(shù)對中文文本對象進行聚類操作，首先有側(cè)重點的對挖掘過程中的重要階段進行研究，主要包含文本的預處理階、聚類分析階段。在預處理階段，根據(jù)特征選取的特點，利用遺傳學的基本知識采用一種基于遺傳策略的特征選取方法。它可以在非監(jiān)督學習的情況下對用特征向量來表示的文本個體進行降維操作，可以起到降低聚類算法的復雜度，保證聚類精

3、度的作用。在聚類算法階段，通過比較各種聚類算法的優(yōu)缺點，重點分析了經(jīng)典的K-means算法，然后提出一種對孤立點先檢測再提取最后歸并的改進K-means(WIPD)算法。改進的WIPD算法首先遍歷整個樣本數(shù)據(jù)集，找出所有的孤立點等異常數(shù)據(jù)進行提取，接下來對提取后的樣本集進行聚類，在處理時采用自適應(yīng)策略與基于最大距離的聚類中心相結(jié)合的選取方法，在相當程度上避免了聚類結(jié)果陷入局部最優(yōu)的局面，在聚類完成后再將這些孤立點整理后歸并入聚類結(jié)果當中