WEB文本挖掘的聚類分析.pdf

1、數據采集和存儲技術的進步導致龐大的數據庫日益增多，從這些數據中提取出有價值的信息，成為人們日益關心的問題，而且已經形成了一門學科，成為“數據挖掘”。如果僅涉及到很小的數據集，那么就可以僅僅討論統(tǒng)計學家們所使用的標準數據探測和分析方法了。數據挖掘所分析的經常是龐大的數據集。聚類和分類同是數據挖掘的重要內容。 文本是存儲和交換信息的最自然的方式，文本挖掘具有非常重要的現實意義。文本挖掘所要處理的數據規(guī)模更大，因而使得許多對數據庫中數

2、據挖掘很有效的聚類算法，對于文本挖掘變得不可行。規(guī)模的增大，要求算法必須能夠增量的執(zhí)行，因為沒有可能將數據一次調入內存處理。另外這對算法的效率也提出了苛刻的要求。同時，Web的文本數據是不斷增長的，新的信息類型不斷出現。算法必須有能力在不完全重新分析已有數據的情況下，增量處理新的數據，更新聚類結果。 通過對以Web文本數據為代表的高維數據特點的分析，認識到傳統(tǒng)的聚類技術在這里面臨許多新的困難。本文嘗試以概率理論特別是貝葉斯方法為