基于主題模型的文本主題相似度檢測研究.pdf

1、隨著計算機技術的不斷發(fā)展，越來越多的文本信息被電子化。如何自動而又準確地處理這些電子化的文本信息已成為文本主題相似度檢測研究的首要問題。在如此的社會環(huán)境影響下，文本相似度檢測技術逐漸涌現(xiàn)出來，Google的搜索引擎與騰訊每日的新聞分類。都逐步開始采用此技術從海量文本中挖掘出具有寶貴價值的語義信息，提供給用戶以提升客戶體驗度。由此可見計算機自動檢測文本相似度已深入我們的生活。本文分析了文本相似度檢測的難點、應用熱門和國內外研究現(xiàn)狀，發(fā)現(xiàn)已

2、有檢測方法存在著文本結構化矩陣過于稀疏導致運算效率低下和無法解釋歧義性詞匯語義等問題。針對此問題，文中提出了一種基于主題模型的文本主題相似度檢測研究方法。該方法通過對文本內各詞項和主題的概率分布統(tǒng)計，提取出文本內的潛在主題。采用主題模型的概率統(tǒng)計特點構建主題類別體系，達到對文本主題相似度檢測的目的。在文本聚類實驗中，通過與原有方法的召回率、準確率、F值以及誤檢率等指標比對發(fā)現(xiàn)。相比已有的文本主題相似度檢測方法，本文方法的各項指標均有不同