領(lǐng)域文本相似度計(jì)算方法研究.pdf

1、隨著行業(yè)內(nèi)文本數(shù)據(jù)的不斷積累，如教育、財(cái)經(jīng)、餐飲、旅游等領(lǐng)域擁有大量的doc、pdf等格式的非結(jié)構(gòu)或半結(jié)構(gòu)化的數(shù)據(jù)。同結(jié)構(gòu)化的數(shù)據(jù)管理相比，這些非結(jié)構(gòu)或半結(jié)構(gòu)化的數(shù)據(jù)管理要難很多。最近幾年來(lái)出現(xiàn)了許多面向行業(yè)領(lǐng)域的應(yīng)用，如酷訊網(wǎng)的車票信息、搜房網(wǎng)的房產(chǎn)信息等，它們提供的服務(wù)方便了人們的生活，但大多數(shù)是基于領(lǐng)域內(nèi)結(jié)構(gòu)化數(shù)據(jù)的信息加工和服務(wù)，所以本文主要研究行業(yè)領(lǐng)域內(nèi)非結(jié)構(gòu)化數(shù)據(jù)文本信息處理中文本相似度計(jì)算的問(wèn)題。文本相似度計(jì)算是文本信息處

2、理的基礎(chǔ)，可為文本聚類、文本分類、相似文本資源推薦等提供技術(shù)支持。傳統(tǒng)的文本相似度計(jì)算是基于關(guān)鍵詞集的向量空間模型，它僅考慮了文本中關(guān)鍵詞的簡(jiǎn)單匹配，而沒(méi)有考慮關(guān)鍵詞的語(yǔ)義以及關(guān)鍵詞之間的聯(lián)系；同時(shí)它在針對(duì)領(lǐng)域文本相似度計(jì)算時(shí)，很少考慮文本的領(lǐng)域特征。
　　本文研究領(lǐng)域文本相似度計(jì)算，其研究思路就是如何從文本集中抽取領(lǐng)域知識(shí)以及如何利用領(lǐng)域知識(shí)來(lái)挖掘文本的語(yǔ)義特征來(lái)計(jì)算文本相似度。主要工作和貢獻(xiàn)如下：
　?。?）提出了一種中

3、文未登錄詞檢測(cè)方法。在研究未登錄詞特點(diǎn)的基礎(chǔ)上，設(shè)計(jì)并驗(yàn)證了基于大規(guī)模語(yǔ)料集的候選未登錄詞統(tǒng)計(jì)和閾值過(guò)濾的未登錄詞檢測(cè)方法。
　?。?）設(shè)計(jì)了一種領(lǐng)域知識(shí)獲取模型。使用帶有正負(fù)符號(hào)的卡方分布計(jì)算詞語(yǔ)和領(lǐng)域的相關(guān)度，將相關(guān)度較大的詞語(yǔ)加入到領(lǐng)域詞典；利用領(lǐng)域詞典和“是一個(gè)”上下位關(guān)系模式相結(jié)合的方式識(shí)別領(lǐng)域語(yǔ)義知識(shí)中上下位關(guān)系的詞語(yǔ)對(duì)。
　　（3）提出了一種領(lǐng)域文本的領(lǐng)域特征和語(yǔ)義特征的抽取方法。利用領(lǐng)域詞典抽取文本的領(lǐng)域特征