垂直搜索引擎的主題網(wǎng)頁抓取策略研究.pdf

1、隨著計算機網(wǎng)絡技術的飛速發(fā)展,互聯(lián)網(wǎng)已成為海量信息的主要載體,如何有效的利用這些信息,對人們來說是一個巨大的挑戰(zhàn)。搜索引擎作為信息檢索的工具,現(xiàn)已成為用戶訪問互聯(lián)網(wǎng)的入口和指南并受到廣大用戶的青睞。然而,傳統(tǒng)的搜索引擎正面臨著網(wǎng)頁索引規(guī)模、更新速度、個性化需求和查詢結果精度低等多方面的嚴峻挑戰(zhàn)。為解決傳統(tǒng)搜索引擎所面臨的突出問題,面向特定主題的垂直搜索引擎便應運而生。主題網(wǎng)頁抓取技術是構建垂直搜索引擎的核心技術,它的目標是盡可能多地抓取

2、與特定主題內容相關的網(wǎng)頁,同時最大限度地避免無關網(wǎng)頁的抓取。因此,對主題網(wǎng)頁抓取策略的研究具有十分重要的意義。
　　本文主要以垂直搜索引擎的主題網(wǎng)頁抓取策略作為研究內容,從提高主題網(wǎng)頁抓取的準確率和效率作為出發(fā)點,詳細分析了現(xiàn)有的主題網(wǎng)頁抓取方法及其優(yōu)缺點。重點分析了基于隱馬爾科夫模型的主題網(wǎng)頁抓取策略的實現(xiàn)和優(yōu)缺點,以此為基礎,提出了一種改進的主題網(wǎng)頁抓取策略。為了使特征詞權重更能代表網(wǎng)頁的真實內容,改進了網(wǎng)頁預處理后的特征詞權

3、重的計算方式,對網(wǎng)頁中不同位置的特征詞賦予不同的權重。為了提高主題網(wǎng)頁抓取的準確率,改進了待爬行隊列中URL優(yōu)先權值的計算方法,綜合考慮了隱馬爾科夫模型方法和網(wǎng)頁內容相關度方法。
　　為了驗證改進算法的性能和效率,本文將改進后的方法與隱馬爾科夫方法和Best-First方法進行對比,實驗結果表明,在抓取大量主題網(wǎng)頁時,改進后的方法能抓取大量與給定主題相關的高質量網(wǎng)頁,主題爬行性能優(yōu)于改進前的隱馬爾科夫方法和Best-First方法