深度網(wǎng)爬蟲及更新策略研究.pdf

1、21世紀是以網(wǎng)絡為基礎、高新技術為核心的知識經濟社會，網(wǎng)絡對我們的生活越來越重要，越來越多的人從網(wǎng)上搜索資料，如今用戶對搜索引擎的依賴性越來越強，對搜索結果“專、精、深”要求也越來越高，傳統(tǒng)的網(wǎng)頁搜索引擎已經滿足不了廣大用戶的需求。Deep Web與普通網(wǎng)頁相比，信息量更大、主題更專一、數(shù)據(jù)結構化信息更好、信息質量更高，能有效地對Deep Web中的資源進行搜索，為用戶提供更有價值的信息。
　　 Deep Web搜索需要突破傳統(tǒng)

2、搜索技術上的局限性，從網(wǎng)絡上自動識別可搜索的數(shù)據(jù)庫，通過搜索接口提交搜索請求并對返回的查詢結果進行分析，取出需要的數(shù)據(jù)處理后再以某種形式返回給用戶。本著搜索更深入，信息更專業(yè)的宗旨，文本論述了深度網(wǎng)關鍵研究工作，實現(xiàn)了基于云計算的深度網(wǎng)垂直搜索系統(tǒng)。將互聯(lián)網(wǎng)海量無序化信息結構化，為用戶提供專著、具體、深入的信息檢索服務，采用簡單模式、文本向量特征等多種分類方式實現(xiàn)頁面的準確歸類。并通過實驗證明，該方法具有網(wǎng)頁抓取的高效性以及頁面分類的準