Deep Web數(shù)據(jù)集成關(guān)鍵技術(shù)及其在農(nóng)業(yè)領(lǐng)域的應(yīng)用.pdf

1、隨著互聯(lián)網(wǎng)的高速發(fā)展，大量信息資源由于被存儲在Web數(shù)據(jù)庫中而逐漸被深化，形成海量的Deep Web資源。由于Deep Web特殊的數(shù)據(jù)提供和訪問方式，使目前已有的通用搜索引擎難以對其進行有效的索引，這為人們高效獲取和利用這些數(shù)據(jù)帶來了困難。Deep Web數(shù)據(jù)集成正是基于這一背景而提出的嶄新的研究課題。
　　 集成查詢接口構(gòu)建是實現(xiàn)Deep Web數(shù)據(jù)集成的重要組成部分，其中涉及眾多關(guān)鍵技術(shù)，雖然目前學者們提出了許多解決方案，

2、但總體上仍還處于探討階段，尚存在很多不足，如在Deep Web查詢接口自動識別研究中，目前廣泛采用了基于規(guī)則的判斷方法，該方法缺乏動態(tài)適應(yīng)性，且無法有效區(qū)分簡單查詢接口和通用搜索引擎表單；在基于文本的Deep Web分類研究中，有關(guān)特征項的選擇目前尚無科學的量化標準，在特征項權(quán)重的計算上，已有方法由于沒有深入考慮特征項對于分類作用的差異，導致構(gòu)建的接口向量模型不夠準確，一定程度上影響了分類精度；在查詢接口模式抽取研究中，已有工作均沒有充

3、分利用接口表單的視覺布局信息；在接口屬性間的模式匹配研究中，目前方法大多僅考查了語義相似度，而沒有充分利用屬性的類型、值域等其他元信息，且匹配精度還有待進一步提高。因此，無論是從研究思路還是在研究方法上都還需要更具創(chuàng)新性的深入探討。
　　 本文對以上幾個關(guān)鍵技術(shù)展開研究，在對國內(nèi)外已有成果進行歸納和總結(jié)的基礎(chǔ)上，對每個問題都進行了深入、細致的分析，針對已有工作的不足，提出了相應(yīng)的解決方案或改進措施，通過理論分析和一系列實驗驗證，

4、表明本文所提方法具有較高的準確性和較強的可行性，有一定的實用價值。最后，以土壤數(shù)據(jù)為例，編制了土壤信息綜合查詢的Deep Web數(shù)據(jù)集成實驗原型系統(tǒng)，探討了這些技術(shù)在農(nóng)業(yè)領(lǐng)域中的應(yīng)用。主要研究工作如下：
　　 (1)Deep Web入口自動識別研究
　　 Deep Web入口識別是進行Deep Web數(shù)據(jù)集成的基礎(chǔ)。不同于以往的基于規(guī)則的判定方法，本文采用機器學習的思路，提出了一種利用神經(jīng)網(wǎng)絡(luò)進行Deep Web入口識別

5、的方法。首先綜合考慮了表單控件、控件屬性、屬性值以及部分關(guān)鍵詞等影響因子，構(gòu)建了入口自動識別模型；接下來，利用統(tǒng)計方法明確了Deep Web入口與非Deep Web入口之間的可區(qū)分特征：最后利用神經(jīng)網(wǎng)絡(luò)的自主學習機制來自動調(diào)整各影響因子的相關(guān)參數(shù)，避免了傳統(tǒng)的基于規(guī)則的主觀性和缺乏動態(tài)適應(yīng)性等不足。實驗證明了該方法的有效性，而且在簡單DeepWeb入口與通用搜索引擎之間的可區(qū)分上也取得了較為滿意的效果。
　　 (2)Deep W

6、eb領(lǐng)域分類研究
　　 對Deep Web進行領(lǐng)域分類可以實現(xiàn)對資源更有效的組織和管理。本文借鑒傳統(tǒng)的文本分類算法思想，結(jié)合Deep Web查詢接口的特點，提出了一種基于領(lǐng)域特征文本的Deep Web分類方法：1)給出了一種基于領(lǐng)域本體的語義抽象方法，對表達同一語義的不同詞匯進行了概念抽象，有效增強了特征文本對領(lǐng)域的表征能力，同時達到了有效降維的目的；2)提出了一種“領(lǐng)域相關(guān)度”的評價方法，用于特征文本選擇的量化標準，避免了傳統(tǒng)

7、的人工選擇特征項所帶來的主觀性；3)在接口向量模型構(gòu)建中，對傳統(tǒng)的TFIDF方法進行了改進，提出了一種新的特征項權(quán)重計算方法W-TFIDF，更能體現(xiàn)不同特征文本對于分類所起作用的差異。實驗證明，本文提出的特征文本選擇方法是準確而有效的；相比傳統(tǒng)的TF、TFIDF方法，W-TFIDF權(quán)重計算方法更為準確，能顯著提高分類精度；綜合利用本文選出的特征文本及W-TFIDF權(quán)重計算方法，能在K-NN分類算法中表現(xiàn)出較好的穩(wěn)定性。
　　 (

8、3)Deep Web接口元素與標簽匹配研究
　　 Deep Web接口元素與標簽匹配是查詢接口理解和模式抽取的重要前提和基礎(chǔ)。本文提出了一種基于視覺的元素-標簽匹配方法，主要工作包括：1)提出了一種基于表格的表單重構(gòu)方法-TBIExp，能通過對查詢接口HTML源代碼的分析，自動還原出該接口的視覺布局信息，且易于被程序處理；2)基于統(tǒng)計和觀察，較為全面地總結(jié)了表單元素及其語義標簽的位置關(guān)系和視覺特征，并依此構(gòu)建了一套完整的啟發(fā)式規(guī)

9、則；3)提出了一種R3LEX匹配算法，依次進行了基于標記的匹配、基于語義的匹配和基于位置的匹配，由于考慮的匹配因子較為全面，因此算法具有較高的匹配精度。實驗證明了所提方法的有效性。
　　 (4)Deep Web查詢接口模式抽取研究
　　 查詢接口模式抽取是后繼進行接口屬性間模式匹配以及集成查詢接口構(gòu)建的重要基礎(chǔ)和前提。本文將接口屬性域間的關(guān)系看作是樹形結(jié)構(gòu)，并以前面提出的TBIExp表單重構(gòu)方法為基礎(chǔ)，提出

10、了一種自底向上的層次聚類方法，主要工作包括：1)全面考查了影響屬性分組的因素，提出了7條屬性分組模式，并按分組模式的影響范圍對其進行了重要性排序，為后繼的屬性聚類提供了依據(jù)；2)提出了一種基于TBIExp的模式樹層次構(gòu)造算法-BUCluster，由于TBIExp本身已包含了查詢接口的視覺信息，因此相比以前的工作，該方法更為直觀準確；3)基于查詢接口模式樹，提出了一種基于啟發(fā)式規(guī)則的屬性標簽抽取和匹配方法-AttrLEX。實驗表明，以上模

11、式抽取方法較已有工作的準確率得到了全面提升。
　　 (5)Deep Web接口屬性間的模式匹配研究
　　 模式匹配是Deep Web數(shù)據(jù)集成中一個基礎(chǔ)而又困難的關(guān)鍵技術(shù)。本文針對在集成查詢接口構(gòu)建中各接口屬性間的模式匹配問題進行了研究，有效解決了屬性間1:1簡單匹配和1：m復雜匹配的問題。主要工作包括：1)提出了一種利用領(lǐng)域詞匯表和領(lǐng)域本體來對接口文本進行規(guī)范化的方法，使語義相似度的計算更為科學準確；2)在進行屬性相似度

12、評價時，充分考慮了屬性元信息之間的語義相似度、領(lǐng)域相似度以及值域相似度，避免了傳統(tǒng)的單純利用語義信息或統(tǒng)計信息進行模式匹配的不足；3)給出了對各類相似度進行量化計算的公式和方法；4)提出了一種利用神經(jīng)網(wǎng)絡(luò)來實現(xiàn)屬性間1:1的模式匹配方法，有效解決了人為指定相應(yīng)參數(shù)帶來的不確定性；5)在1:1匹配結(jié)果的基礎(chǔ)上，提出了一種基于查詢接口模式樹進行1：m匹配的方法，該方法不僅簡單直觀，而且能獲得令人滿意的匹配精度。實驗證明了以上工作的合理性和有

13、效性。
　　 (6)Deep Web集成技術(shù)在農(nóng)業(yè)領(lǐng)域的應(yīng)用研究
　　 以全國第二次土壤普查中江津地區(qū)的土壤數(shù)據(jù)為例，編制了“江津土壤信息綜合查詢”的Deep Web數(shù)據(jù)集成實驗原型系統(tǒng)，能針對給定的查詢條件，實現(xiàn)同時對多個Web數(shù)據(jù)庫進行查詢的功能，一方面綜合檢驗了本文所捉技術(shù)的合理性，另一方面探討了相關(guān)技術(shù)在農(nóng)業(yè)領(lǐng)域的應(yīng)用問題。
　　 綜上所述，本文系統(tǒng)地對Deep Web集成接口構(gòu)建所涉及的幾個關(guān)鍵技術(shù)展開

14、了研究，針對目前Deep Web入口識別中基于規(guī)則方法的不足，采用機器學習的思路，提出利用神經(jīng)網(wǎng)絡(luò)進行接口識別的方法，避免了基于規(guī)則方法缺乏動態(tài)適應(yīng)性的不足，而且能有效區(qū)分簡單查詢接口與通用搜索引擎表單；針對目前基于文本的Deep Web分類中存在的不足，定義了具體的量化標準用于領(lǐng)域特征文本的選擇，避免了人工選取帶來的主觀性和不確定性，此外，給出了一種改進的特征項權(quán)重計算方法，使構(gòu)建的接口向量模型更為科學準確，能顯著提高分類精度；針對目