支持Ajax技術的主題網絡爬蟲系統(tǒng)研究與實現.pdf

1、網絡爬蟲是搜索引擎的重要組成部分，負責互聯網中數據的采集工作。隨著網絡技術的發(fā)展，越來越多的網站開始應用Ajax技術。Ajax采用異步模式向服務器發(fā)送請求，并將從服務器獲取的數據動態(tài)顯示在Web頁面，網頁的源文件和URL都不發(fā)生變化。這一技術的應用使得傳統(tǒng)根據HTML源文件進行信息采集的網絡爬蟲無法采集到動態(tài)信息。Ajax技術的應用領域越來越廣，目前大多數新聞站點的新聞評論都采用了Ajax技術，這些動態(tài)評論信息對輿情的收集具有重要意義。

2、基于Ajax技術在新聞領域的應用，本文研究并設計了能夠采集Ajax網頁信息的主題網絡爬蟲系統(tǒng)，實現了對新聞站點的新聞信息以及動態(tài)評論信息的采集。
　　 首先，研究了Ajax網頁動態(tài)信息的采集。通過使用瀏覽器API并模擬用戶行為對網頁元素進行操作采集Ajax網頁的動態(tài)信息，基于同一站點同一類型Ajax網頁結構相似性特點，在系統(tǒng)采集主題信息前增加預處理階段。預處理階段用來查找Ajax網頁中的有效觸發(fā)元素，并對有效觸發(fā)元素進行規(guī)約和模