基于本體的網(wǎng)絡(luò)爬蟲(chóng)設(shè)計(jì)及應(yīng)用.pdf

1、過(guò)去的幾十年里，我們一起見(jiàn)證了因特網(wǎng)的迅猛發(fā)展和網(wǎng)絡(luò)信息的不斷膨脹。但是隨著信息量的逐漸增加，傳統(tǒng)的網(wǎng)絡(luò)爬蟲(chóng)已經(jīng)不能很好地滿(mǎn)足用戶(hù)對(duì)爬蟲(chóng)性能的需求。因此基于本體的網(wǎng)絡(luò)爬蟲(chóng)應(yīng)運(yùn)而生，它的出現(xiàn)很大程度地提高了爬蟲(chóng)對(duì)某個(gè)領(lǐng)域的查準(zhǔn)率。而本體在網(wǎng)絡(luò)爬蟲(chóng)中的應(yīng)用，大大減小了一詞多義給主題爬蟲(chóng)帶來(lái)的不精確性。目前，基于本體的網(wǎng)絡(luò)爬蟲(chóng)技術(shù)還不夠成熟，在一些大型的搜索引擎中并未采用此技術(shù)。不過(guò)隨著搜索引擎技術(shù)不斷的發(fā)展和人們對(duì)網(wǎng)絡(luò)搜索技術(shù)要求的提高，基

2、于本體的網(wǎng)絡(luò)爬蟲(chóng)將會(huì)為未來(lái)的搜索領(lǐng)域開(kāi)辟一塊新的天地。
　　本文對(duì)基于本體的網(wǎng)絡(luò)爬蟲(chóng)進(jìn)行了深入的研究。在詳細(xì)地闡述了網(wǎng)絡(luò)爬蟲(chóng)和本體論的知識(shí)之后，全面地介紹了基于本體網(wǎng)絡(luò)爬蟲(chóng)的模型，并且對(duì)模型各個(gè)模塊進(jìn)行了詳細(xì)的分析。同時(shí)結(jié)合國(guó)內(nèi)外對(duì)基于本體網(wǎng)絡(luò)爬蟲(chóng)的研究，提出了構(gòu)建基于本體網(wǎng)絡(luò)爬蟲(chóng)的基本方法。首先結(jié)合本體論的基本知識(shí)，選取了計(jì)算機(jī)教育領(lǐng)域作為本體，對(duì)該領(lǐng)域進(jìn)行了全面的分析并且使用開(kāi)源軟件 Protégé來(lái)構(gòu)建基于網(wǎng)絡(luò)本體語(yǔ)言（OW

3、L）的本體模型。其次，本文詳細(xì)地介紹了空間向量模型。該方法將頁(yè)面和本體用向量來(lái)表示，通過(guò)計(jì)算向量之間的夾角來(lái)衡量鏈接與領(lǐng)域之間的相關(guān)度。接著，采用Java語(yǔ)言來(lái)實(shí)現(xiàn)基于本體的網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)，并且將本體論的知識(shí)，向量模型，與網(wǎng)絡(luò)爬蟲(chóng)的技術(shù)相結(jié)合，全面地介紹了基于本體網(wǎng)絡(luò)爬蟲(chóng)的每一個(gè)模塊的實(shí)現(xiàn)細(xì)節(jié)。最后，對(duì)網(wǎng)絡(luò)爬蟲(chóng)爬取的信息進(jìn)行了全面的分析，用查準(zhǔn)率與查全率作為本體爬蟲(chóng)性能的衡量指標(biāo)。綜合地展示了基于本體的網(wǎng)絡(luò)爬蟲(chóng)的性能。通過(guò)實(shí)驗(yàn)結(jié)果我們可以