面向Web挖掘的主題網(wǎng)絡(luò)爬蟲(chóng)的研究與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的迅速發(fā)展，越來(lái)越多的信息資源以網(wǎng)絡(luò)為媒介呈現(xiàn)在人們面前，而通過(guò)搜索引擎獲取生活、生產(chǎn)所需的信息資料也開(kāi)始成為人們掌握資訊的主流方式之一。但是由于Web信息資源的爆炸式增長(zhǎng)及其半結(jié)構(gòu)化、實(shí)時(shí)性、異構(gòu)性和離散性等的特點(diǎn)，如何對(duì) Web資源進(jìn)行挖掘分析、提取人們需要的特定主題的信息，已經(jīng)成為一項(xiàng)重要的研究課題。
　　本文的研究?jī)?nèi)容是基于企業(yè)競(jìng)爭(zhēng)情報(bào)、面向 Web挖掘的主題式搜索，在介紹了課題的研究背景和現(xiàn)狀之后，著重討論了W

2、eb挖掘和主題搜索引擎的核心技術(shù)。具體的研究工作如下：
　　主題網(wǎng)絡(luò)爬蟲(chóng)：綜合分析了現(xiàn)有搜索引擎的網(wǎng)絡(luò)搜索算法，改進(jìn)了相關(guān)的搜索策略，提出了一種非貪婪遺傳搜索算法。
　　Web文檔分析：本文利用HTML Tidy工具將 Web文檔轉(zhuǎn)換為其對(duì)應(yīng)的樹(shù)型結(jié)構(gòu)，然后根據(jù)用戶的需求利用不同的遍歷算法提取相關(guān)的信息；爬蟲(chóng)系統(tǒng)對(duì)網(wǎng)頁(yè)的正文內(nèi)容進(jìn)行提取和分詞之后，采用經(jīng)過(guò)改進(jìn)的特征項(xiàng)權(quán)重計(jì)算方法建立文本的特征向量。
　　主題相關(guān)性評(píng)價(jià)