基于文本內(nèi)容的網(wǎng)頁過濾技術(shù)研究.pdf

1、互聯(lián)網(wǎng)的高速發(fā)展已經(jīng)使其成為世界上覆蓋面最廣、范圍最大、內(nèi)容最為豐富的資源庫。人們在充分享受信息共享所帶來的便利的同時，卻也飽受著大量“垃圾信息”的困擾。特別是對于廣大青少年學(xué)生，一些“有害信息”正在威脅著他們的身心健康，另外，企業(yè)員工的上網(wǎng)行為亟待規(guī)范。因此網(wǎng)頁過濾應(yīng)運而生。 當前，許多商用網(wǎng)頁過濾產(chǎn)品都使用了一種稱為基于文本內(nèi)容的網(wǎng)頁過濾技術(shù)。它是從分析網(wǎng)頁內(nèi)容入手，獲取網(wǎng)頁有效文本信息，利用文本分類算法，在訓(xùn)練集合上學(xué)習(xí)網(wǎng)

2、頁分類器。在人們訪問互聯(lián)網(wǎng)時，通過預(yù)先或?qū)崟r計算出的網(wǎng)頁類別，做出允許或禁止的判斷。由此可見，基于文本內(nèi)容的網(wǎng)頁過濾其核心在于網(wǎng)頁分類的準確性。 本文研究了基于文本內(nèi)容的網(wǎng)頁過濾技術(shù)，網(wǎng)頁過濾的成效依賴于網(wǎng)頁分類的精度，網(wǎng)頁分類分為兩個步驟，第一步是，分析網(wǎng)頁內(nèi)容，得到網(wǎng)頁中的能夠代表網(wǎng)頁語義的文本信息，這個過程稱為網(wǎng)頁文本內(nèi)容抽取。這類技術(shù)包括利用網(wǎng)頁文檔結(jié)構(gòu)的方法、通過計算網(wǎng)頁摘要的方法以及基于鏈接的算法等。但是這些算法都有

3、一些不可避免的弱點，從而會影響到后續(xù)分類的準確度。本文提出了一種在同一網(wǎng)站中尋找相似網(wǎng)頁的算法，它可以克服其他網(wǎng)頁內(nèi)容抽取方法中存在的弱點。第二步是，從網(wǎng)頁中抽取出有用的文本之后，接著要對此文本分類，本文分析了一些成熟的文本分類技術(shù)，它們包括貝葉斯算法、支持向量機、KNN算法和決策樹等等。貝葉斯分類的出錯率最小，就試驗結(jié)果來看，樸素貝葉斯在大型的數(shù)據(jù)集上表現(xiàn)出來難得的速度和準確度。 本文在實驗中選擇了貝葉斯算法作為網(wǎng)頁分類器的文