基于用戶興趣的P2P內(nèi)容搜索機制的研究和實現(xiàn).pdf

1、對等網(wǎng)絡(luò)（P2P）技術(shù)是目前國際計算機網(wǎng)絡(luò)技術(shù)領(lǐng)域研究的一個熱點，被《財富》雜志譽為將改變互聯(lián)網(wǎng)未來的四大新技術(shù)之一。人們從很多不同的角度來應(yīng)用P2P技術(shù)，主要應(yīng)用的角度包括：信息資源共享、普及計算、協(xié)同工作、實時通信技術(shù)、信息檢索技術(shù)、廣域網(wǎng)絡(luò)存儲系統(tǒng)等。 隨著互聯(lián)網(wǎng)絡(luò)的迅猛發(fā)展，搜索引擎技術(shù)也在醞釀著一場重大的變革:搜索技術(shù)將更加智能化，搜索資源將更加廣泛，搜索方式將更加便捷，專項搜索將更加豐富，接受終端也將向移動設(shè)備發(fā)展。

2、未來的搜索技術(shù)也將充分利用網(wǎng)絡(luò)環(huán)境里龐大的邊緣資源。P2P技術(shù)的特性同搜索引擎變革的需求照相呼應(yīng)，因此，基于對等技術(shù)的分布式內(nèi)容搜索技術(shù)橫空出世。 Internet范圍的文檔內(nèi)容搜索的傳統(tǒng)方法是Web搜索引擎，例如Google或Yahoo。這種搜索引擎采用集中式的搜索機制。例如, Google 需要網(wǎng)絡(luò)爬蟲(crawler)從網(wǎng)絡(luò)上下載頁面并把它們存儲到集中的頁面數(shù)據(jù)庫中，然后解析頁面內(nèi)容并建立索引。索引被存儲在索引數(shù)據(jù)庫中。當(dāng)

3、一個用戶提交他的搜索請求后, Google 檢索它的索引數(shù)據(jù)庫并做出應(yīng)答。然而，這種集中式的搜集引擎有很多不足。首先，網(wǎng)絡(luò)爬蟲不能對頁面數(shù)據(jù)庫提供及時的更新，因為頁面更新是有周期的。其次，對所有用戶的搜索請求，集中式的搜索引擎都會返回相同的結(jié)果，也就是說，它們不能針對不同興趣的用戶返回個性化的搜索結(jié)果。 結(jié)合P2P技術(shù)和信息檢索技術(shù)，能夠?qū)崿F(xiàn)個性化的搜索。特別地，P2P技術(shù)非常適合于做Internet范圍的內(nèi)容搜索。這主要有兩個

4、原因: 1) 對等網(wǎng)絡(luò)數(shù)據(jù)是高度分布地，這些數(shù)據(jù)位于數(shù)以百萬計地站點上，信息量巨大(越來越多的人在通過他們的博客(Blog)或其它方式共享自己的數(shù)據(jù)); 2) 對等網(wǎng)絡(luò)能夠按照網(wǎng)絡(luò)中節(jié)點的處理能力組成分布式的網(wǎng)絡(luò)服務(wù)器工廠，由于負(fù)載比較平衡，因此對等網(wǎng)絡(luò)能夠處理語言數(shù)據(jù)分析、統(tǒng)計學(xué)習(xí)等基于知識和推理的高級應(yīng)用。這一點對于集中式的網(wǎng)絡(luò)服務(wù)器而言，每天處理數(shù)以百萬計的查詢請求會出問題的。 本文給出了解決Internet規(guī)模的Web搜

5、索的初步方案。在這個方案中，P2P網(wǎng)絡(luò)中的每個節(jié)點都是一個Web server, 所有這些Web server組成了一個Web 搜索聯(lián)盟。每個節(jié)點由索引模塊，興趣學(xué)習(xí)模塊和P2P路由模塊三個模塊組成。每個節(jié)點解析它的本地頁面并創(chuàng)建本地索引，然后根據(jù)索引內(nèi)容學(xué)習(xí)自己的興趣。節(jié)點的興趣代表了創(chuàng)建這個Web server的用戶的興趣。利用結(jié)構(gòu)化的P2P路由機制，這個Web server 聯(lián)盟可以提供索引發(fā)布服務(wù)和個性化的內(nèi)容檢索服務(wù)。因此，當(dāng)