基于條件概率圖模型的Deep Web數(shù)據(jù)抽取與集成研究.pdf

1、目前，大量的結(jié)構(gòu)化數(shù)據(jù)蘊(yùn)藏在Deep web中，但是由于Web網(wǎng)頁(yè)的半結(jié)構(gòu)性、Web超鏈接的自由無(wú)序性以及Deep Web數(shù)據(jù)的海量性、異構(gòu)性、多樣性、動(dòng)態(tài)性等特點(diǎn)，使得Deep Web數(shù)據(jù)抽取與集成成為當(dāng)前亟待解決的研究課題。概率圖學(xué)習(xí)模型是機(jī)器學(xué)習(xí)領(lǐng)域當(dāng)前異?；钴S的研究熱點(diǎn)之一。它在數(shù)據(jù)挖掘、信息抽取、信息檢索等領(lǐng)域得到了廣泛而成功的應(yīng)用。 本文將條件隨機(jī)場(chǎng)，一種序列條件概率無(wú)向圖模型，引入到Deep Web數(shù)據(jù)抽取和集成的

2、研究中，對(duì)其中的查詢接口發(fā)現(xiàn)、分類、集成以及查詢結(jié)果數(shù)據(jù)的抽取和重復(fù)記錄檢測(cè)等多個(gè)具有挑戰(zhàn)性的實(shí)際問(wèn)題進(jìn)行了系統(tǒng)和深入地研究。針對(duì)不同問(wèn)題提出了改進(jìn)的條件隨機(jī)場(chǎng)模型、新的算法或新的實(shí)現(xiàn)策略，主要工作概括如下： (1)針對(duì)Deep Web查詢接口自動(dòng)搜索和發(fā)現(xiàn)問(wèn)題，提出了基于條件隨機(jī)場(chǎng)的網(wǎng)頁(yè)鏈接路徑學(xué)習(xí)模型，給出了使用增強(qiáng)學(xué)習(xí)技術(shù)對(duì)超鏈接進(jìn)行評(píng)分的算法。實(shí)驗(yàn)結(jié)果表明，搜索查詢表單的性能明顯優(yōu)于其它袁單爬蟲。 (2)使用條件

3、最大熵模型處理Deep Web查詢接口識(shí)別和領(lǐng)域分類問(wèn)題。提出了一種僅利用表單結(jié)構(gòu)特征來(lái)識(shí)別在線數(shù)據(jù)庫(kù)查詢接口的通用方法。此外，利用最大熵分類器的優(yōu)點(diǎn)，融合查詢表單的結(jié)構(gòu)、內(nèi)容等多種特征來(lái)實(shí)現(xiàn)查詢表單的領(lǐng)域分類。實(shí)驗(yàn)結(jié)果表明。該方法分類準(zhǔn)確率高。 (3)利用有序樹模型來(lái)表示抽取的查詢接口中查詢項(xiàng)、字段和屬性問(wèn)的層次關(guān)系。提出了一種層次序列條件隨機(jī)場(chǎng)模型，通過(guò)對(duì)查詢表單中的查詢?cè)剡M(jìn)行聯(lián)合標(biāo)注分類，實(shí)現(xiàn)異構(gòu)查詢接口模式匹配。實(shí)驗(yàn)結(jié)

4、果表明，該方法具有較高的匹配準(zhǔn)確率和跨領(lǐng)域通用特性。 (4)提出了一種基于標(biāo)記樹的網(wǎng)頁(yè)區(qū)域分割方法，并且結(jié)合網(wǎng)頁(yè)聚類和跨網(wǎng)頁(yè)數(shù)據(jù)區(qū)域匹配技術(shù)來(lái)識(shí)別網(wǎng)頁(yè)中的動(dòng)態(tài)數(shù)據(jù)區(qū)域。針對(duì)多源Web記錄語(yǔ)義標(biāo)注和集成問(wèn)題，提出一種混合跳鏈條件隨機(jī)場(chǎng)模型。該模型通過(guò)將最大熵和線性鏈條件隨機(jī)場(chǎng)混合，能夠利用相關(guān)數(shù)據(jù)庫(kù)中的記錄作為訓(xùn)練樣本識(shí)別抽取數(shù)據(jù)的語(yǔ)義標(biāo)注，從而減少了對(duì)手工標(biāo)注樣本的依賴：此外增加對(duì)跳邊的支持，使得模型能夠處理狀態(tài)變量問(wèn)的長(zhǎng)距離依