主題搜索引擎爬行策略的研究.pdf

1、隨著互聯(lián)網(wǎng)信息的持續(xù)爆炸性增長，通用搜索引擎的信息覆蓋率和檢索精度都在不斷下降，發(fā)展主題搜索引擎已經(jīng)成為趨勢。由于主題搜索引擎搜索的內容只限于特定主題或專門領域，被通用搜索引擎所廣泛采用的基于圖的遍歷搜索策略(如廣度或深度優(yōu)先算法)已不再適用，因此，以何種策略訪問Web(即主題爬行策略)已成為近年來主題搜索引擎研究的關鍵問題之一。 本文從提高主題爬蟲的搜索效率和搜索精度出發(fā)，在以下四個方面對主題搜索引擎的爬行策略進行了較為深入的

2、研究。 首先，本文基于現(xiàn)階段國內外網(wǎng)絡爬蟲的研究進展，在分析和比較現(xiàn)有主題網(wǎng)絡爬蟲搜索策略的優(yōu)缺點的基礎上，探討了網(wǎng)絡爬蟲主題價值預測的準確性、重要性及主題網(wǎng)絡資源覆蓋度的搜索策略，以提高主題爬蟲的自適應性和搜索效率。 其次，為了提高網(wǎng)絡爬蟲預測鏈接價值的準確性，本文提出了Shark改進算法，其主要思想是：通過改進Shark算法來提高搜索相關網(wǎng)頁的能力以及降低優(yōu)先排序空間復雜度和時間復雜度，提高搜索效率、節(jié)約大量時間和資

3、源。 再次，為了提高網(wǎng)絡爬蟲的自適應性，本文針對傳統(tǒng)網(wǎng)絡爬蟲存在的價值評價標準單一的問題，提出了一種基于綜合價值的綜合爬行策略，此策略根據(jù)不同的搜索階段選擇采用符合實際情況的最優(yōu)搜索策略。 最后，本研究采用改進的Shark算法和自行設計的綜合爬行策略相結合，實現(xiàn)了一個基于多種搜索策略的主題搜索引擎網(wǎng)絡爬蟲系統(tǒng)原型。本系統(tǒng)綜合了網(wǎng)頁的相關性和重要性兩方面的需要，不僅能夠準確、自動地爬行到主題相關網(wǎng)頁，從而提高信息搜索的效率