面向領域的半結構化Web信息抽取技術.pdf

1、為了應對信息爆炸帶來的挑戰(zhàn)，人們迫切需要一些自動化的工具在海量信息源中迅速定位到真正需要的信息。在這樣的情況下，信息抽取技術應運而生。目前大部分的Web信息抽取方法都是針對某一個特定的網站的網頁人工進行包裝器的編寫，不能適應網頁結構的變化而且系統(tǒng)的移植性較差，而且難以對其他網站進行抽取。本文結合特定領域半結構化文本Web頁面的結構特征，提出了一種Web信息自動抽取方法。通過前期對系統(tǒng)進行訓練，使之能夠根據待抽取網站信息的結構特點自動生成

2、抽取規(guī)則，達到自動抽取的目的。
　　本文的主要貢獻有兩點：
　　一是引入了領域關鍵詞詞庫，為本領域信息抽取提供知識支持。提出了一種針對特殊領域半結構化信息的關鍵詞提取方法。通過利用半結構化信息的格式特征，人工定制包裝器，結合網站遍歷器對特定領域的典型網站進行信息抽取，訓練生成領域關鍵詞詞庫。關鍵詞詞庫通過領域網頁語料庫訓練生成，有了領域知識的來源優(yōu)勢，使得信息抽取技術的適用范圍有了很大的提高。
　　二是提出了基于領域關

3、鍵詞詞庫的抽取規(guī)則自動生成方法。將目標網站的樣本頁面解析為DOM樹，提取出有效信息結點，并用關鍵詞詞庫對結點信息進行匹配，映射出針對目標網站的抽取規(guī)則。
　　本文還解決了以下幾個問題：設計了基于正則表達式的特定領域半結構化文本的包裝器建立方法，提出了超鏈抽取過程中各種屬性鏈接的處理方法，改進了DOM樹有效結點判斷算法以適應半結構化文本，提出詞庫與有效結點到正則表達式的映射方法等。
　　本文最后以農產品行情信息網站作為實驗對象