基于Web文本挖掘的SVM網(wǎng)頁文本分類研究.pdf

1、隨著Internet的迅速發(fā)展，尤其是WorldWideWeb的全球普及，Web上信息資源已涵蓋了社會(huì)生活的各個(gè)方面，網(wǎng)絡(luò)信息過載(InformationOverload)問題日益突出，這促使Web挖掘技術(shù)和Web信息檢索技術(shù)迅速發(fā)展。 廣泛使用的處理Web信息的手段是搜索引擎。目前使用較多的是基于關(guān)鍵字的搜索引擎，在實(shí)際應(yīng)用中存在諸如返回文檔數(shù)目過大，主題相關(guān)性不高等問題，總體查全率和查準(zhǔn)率差強(qiáng)人意。對(duì)于搜索引擎存在的問題，人

2、們想到了數(shù)據(jù)挖掘。數(shù)據(jù)挖掘是從大量數(shù)據(jù)中提取或“挖掘”知識(shí)，將傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)與Web結(jié)合起來，從Web文檔和Web活動(dòng)中抽取感興趣的、潛在的、有用的信息。Web挖掘成為數(shù)據(jù)挖掘一個(gè)重要的研究領(lǐng)域。Web挖掘技術(shù)能夠從Web上海量的數(shù)據(jù)中自動(dòng)地，智能地抽取隱藏于這些數(shù)據(jù)中的知識(shí)，彌補(bǔ)了傳統(tǒng)搜索引擎的不足并且有更廣泛的應(yīng)用。 處理海量數(shù)據(jù)的一個(gè)重要方法就是將它們分類。網(wǎng)頁自動(dòng)分類是Web文本挖掘領(lǐng)域的一個(gè)很重要的研究方向。通過自

3、動(dòng)分類不僅僅可以將網(wǎng)頁按照類別信息分別建立相應(yīng)的數(shù)據(jù)庫，提高搜索引擎的查全率和查準(zhǔn)率，而且可以建立自動(dòng)的分類信息資源，為用戶提供分類信息目錄。文本分類把自然語言的文本按其內(nèi)容劃分到一個(gè)或多個(gè)預(yù)先定義好的類別中，是一個(gè)非常重要的信息組織和管理手段。 支持向量機(jī)(SVM)是由Vapnik及其領(lǐng)導(dǎo)的AT&T實(shí)驗(yàn)室研究小組提出的一種新的很有發(fā)展前途的機(jī)器學(xué)習(xí)算法。在模式識(shí)別、回歸估計(jì)、概率密度函數(shù)估計(jì)等方面都有應(yīng)用。在模式識(shí)別方面，對(duì)于

4、手寫數(shù)字識(shí)別、語音識(shí)別、人臉圖像識(shí)別、文本分類等問題，SVM算法在精度上已經(jīng)超過傳統(tǒng)的學(xué)習(xí)算法或與之不相上下。SVM有許多突出的優(yōu)點(diǎn)，使它適合Web文本信息處理。SVM作為可以廣泛應(yīng)用在網(wǎng)上信息自動(dòng)分類的方法日益受到研究者的重視。該方法研究小樣本情況下的機(jī)器學(xué)習(xí)規(guī)律，具有相對(duì)較高的性能指標(biāo)。因?yàn)镾VM具有較強(qiáng)的理論依據(jù)和較好的泛化性能，使得它成為繼神經(jīng)網(wǎng)絡(luò)研究之后新的研究熱點(diǎn)，并將推動(dòng)機(jī)器學(xué)習(xí)理論和技術(shù)的重大發(fā)展。 本文闡述了W