新聞垂直搜索引擎中文分詞與網頁去重的應用與研究.pdf

1、自互聯(lián)網誕生以來,網絡信息每年幾乎都成指數量增長。搜索引擎是人們獲得互聯(lián)網信息的重要工具,但是傳統(tǒng)的搜索引擎利用網絡爬蟲從互聯(lián)網上大規(guī)模的搜集到的信息其中很多信息是完全重復或近似重復的,還有很多信息是用戶不需要的,這樣就加重了用戶使用搜索引擎的負擔。而垂直搜索引擎能夠精確的獲得用戶關心的相關領域信息。垂直搜索引擎不像通用搜索引擎那樣,它僅僅搜集某一特定領域相關的網頁內容。
　　本文首先描述了垂直搜索引擎的工作原理,并討論了垂直搜索

2、引擎的幾個關鍵技術,主要技術包括:網絡爬蟲技術、中文分詞技術、網頁預處理技術、網頁去重技術、索引和檢索技術等。對包含這幾項關鍵技術的功能模塊進行了詳細描述并進行具體實現。
　　本文設計了一個多線程網絡爬蟲,使其高效的爬取互聯(lián)網資源,并使用布隆過濾器,用來排除重復的 url;網頁主題內容提取部分實現了基于網頁內容結構和正則表達式技術的算法,和其他網頁主題內容提取技術相比,性能有所提高;網頁索引部分,采用Lucene技術,高效的建立了