基于超大規(guī)模問答對庫和語音界面的非受限領(lǐng)域自動問答系統(tǒng)研究.pdf

1、互聯(lián)網(wǎng)實(shí)現(xiàn)了知識和信息在世界范圍的平等共享和快速傳播，而以Google、百度為代表的第二代搜索引擎實(shí)現(xiàn)了互聯(lián)網(wǎng)上數(shù)十億網(wǎng)頁的基于關(guān)鍵詞的快速檢索，滿足了最基本的信息檢索需求。近年來，人們展開了關(guān)于下一代搜索引擎的積極探索，其中自動問答系統(tǒng)因能簡潔直接地回答用戶以自然語言方式提出的問題而得到了廣泛的關(guān)注和深入的研究。在這種背景下，本論文以研制非受限領(lǐng)域的問答系統(tǒng)為目標(biāo)，基于對近幾年來互聯(lián)網(wǎng)上以空前速度積累中的超大規(guī)模問答對資源必將給傳統(tǒng)的

2、問答系統(tǒng)研究帶來深遠(yuǎn)影響的預(yù)期，深入地開展基于問答對庫的自動問答系統(tǒng)技術(shù)研究工作。本論文在借鑒前人成果選用基于關(guān)鍵詞的文檔信息檢索技術(shù)為初始基線系統(tǒng)的基礎(chǔ)上，首次深入研究了在超大規(guī)模的問答對庫條件下基線問答系統(tǒng)各環(huán)節(jié)的最佳配置，得出了一系列有價(jià)值的結(jié)論，并進(jìn)一步對問答系統(tǒng)最核心的問答對排序函數(shù)進(jìn)行了針對性的設(shè)計(jì)和有監(jiān)督的優(yōu)化，大幅度提高了問答系統(tǒng)的性能。此外，本論文還提出并開展了基于問答對庫的問答系統(tǒng)的語音界面擴(kuò)展研究，首次實(shí)現(xiàn)了可實(shí)施

3、的、非受限領(lǐng)域的、可完全通過語音交互的自動問答系統(tǒng)。本論文具體的研究內(nèi)容和相關(guān)成果如下： 首先，本文分析了互聯(lián)網(wǎng)上超大規(guī)模的問答對庫資源積累給問答系統(tǒng)研究帶來的機(jī)遇和挑戰(zhàn)。互聯(lián)網(wǎng)上積累的數(shù)以百萬計(jì)的 FAQ 頁面以及百度知道等知識共享型網(wǎng)站的興起所形成的每日數(shù)萬的問答對積累速度，都為問答系統(tǒng)研究提供了前所未有的數(shù)據(jù)資源，也對傳統(tǒng)的問答系統(tǒng)技術(shù)路線提出了新的挑戰(zhàn)。本文以真實(shí)的數(shù)據(jù)統(tǒng)計(jì)表明：76.5％的工作生活中的常見問題可以在38

4、0萬從互聯(lián)網(wǎng)上抽取的問答對中找到至少一個正確答案，倍增問答對庫規(guī)模預(yù)期還可以繼續(xù)獲得8～10％的相對性能提升，足以證明互聯(lián)網(wǎng)上問答對庫的價(jià)值以及基于問答對庫的自動問答系統(tǒng)的優(yōu)勢和前景。 其次，面向基于問答對庫的自動問答技術(shù)需要，本文開展了互聯(lián)網(wǎng)上問答對的自動抽取技術(shù)研究和實(shí)際問答對庫的構(gòu)建工作。針對 FAQ 頁面，本文提出了基于決策樹和馬爾科夫鏈模型的問答對自動抽取技術(shù)，抽取精度接近 99％，完全達(dá)到了實(shí)用水平。同時基于百度知道

5、網(wǎng)站，本文完成了 390 萬高質(zhì)量問答對庫的建設(shè)，為后續(xù)問答系統(tǒng)相關(guān)實(shí)驗(yàn)的開展奠定了堅(jiān)實(shí)的基礎(chǔ)。 第三，本文驗(yàn)證了超大規(guī)模問答對庫條件下基于問答對庫的自動問答系統(tǒng)的最佳基線系統(tǒng)配置。本文首先完成了1000個用戶問題在 380 萬問答對庫上的問答系統(tǒng)性能評測數(shù)據(jù)庫，并在此基礎(chǔ)上完成了借鑒于傳統(tǒng)基于關(guān)鍵詞的文檔檢索技術(shù)的基線問答系統(tǒng)中各個重要環(huán)節(jié)的驗(yàn)證試驗(yàn)，得到了一系列新穎而有價(jià)值的結(jié)論：1) 傳統(tǒng)文檔檢索的三個主要排序函數(shù) (TF

6、IDF，BM25 以及基于語言模型的檢索函數(shù)) 中最簡單的 TFIDF 是最適合于問答系統(tǒng)中的問答對排序；2) 問答對中的三個不同的信息域 (問題 Q、問題描述 D 和答案 A)中 Q 域?qū)柎鹣到y(tǒng)具有絕對重要的貢獻(xiàn)，A 域次之；3) 在中文分詞處理方面，D 和 A 域是進(jìn)行有詞典分詞的性能更佳，但 Q 域上是將文本全部切分成單字后構(gòu)建的闖答系統(tǒng)性能最佳。實(shí)驗(yàn)表明，最終完成基線問答系統(tǒng)能在僅返回一個答案的條件下能正確回答 43.88％的

7、用戶問題。第四，在上述基線系統(tǒng)基礎(chǔ)上，本文深入地分析了基于用戶輸入的自然語言問句檢索排序闖答對的任務(wù)與傳統(tǒng)的基于關(guān)鍵詞檢索排序文檔任務(wù)之間的差別。在 TFIDF 基礎(chǔ)上，本文設(shè)計(jì)了專門針對問答系統(tǒng)的統(tǒng)一排序函數(shù)，并引入四個參數(shù)分別控制共現(xiàn)詞的詞頻和IDF、未共現(xiàn)詞的IDF以及文檔長度等因素對問答對排序的影響，實(shí)驗(yàn)表明，這一函數(shù)有效地提高了問答系統(tǒng)的性能。同時考慮到更多的屬性可以用于問答對排序函數(shù)的設(shè)計(jì)，本文進(jìn)一步引入了線性加權(quán)函數(shù)的排序

8、函數(shù)形式來有效運(yùn)用更多屬性。本文從每個用戶問題和問答對的組合中提取了包括詞語語義距離、詞語編輯距離、詞性、以及二元詞語共現(xiàn)情況等多維特征，并引入了基于改進(jìn)爬山算法的有監(jiān)督學(xué)習(xí)策略來實(shí)現(xiàn)了排序函數(shù)中各維屬性權(quán)值的自動訓(xùn)練，最終使得問答系統(tǒng)的性能進(jìn)一步得到了顯著提升，在僅返回一個答案條件下，系統(tǒng)能正確回答的用戶問題比例達(dá)到了 52.37％，相對基線系統(tǒng)提升幅度達(dá)到 19.35％。本文同時還對問答系統(tǒng)的置信度進(jìn)行了分析，實(shí)驗(yàn)表明拒絕返回一部分

9、認(rèn)為不可信的答案可以提高 (但不顯著) 答復(fù)正確率，同時改變有監(jiān)督學(xué)習(xí)的訓(xùn)練目標(biāo)定義，可以有效提高問答系統(tǒng)的置信度估計(jì)水平。 最后，本文還首次嘗試將語音界面引入基于問答對庫的非受限領(lǐng)域自動問答系統(tǒng)，實(shí)現(xiàn)了問答系統(tǒng)的研究及應(yīng)用的擴(kuò)展。本文首先對完全基于語音交互界面的問答系統(tǒng)的價(jià)值和挑戰(zhàn)進(jìn)行了分析，指出了基于問答對庫技術(shù)路線的優(yōu)勢以及語音識別和問答系統(tǒng)間的內(nèi)在沖突。為了研制語音界面的問答系統(tǒng) SpeechQoogle，本文引入大詞匯

10、連續(xù)語音識別技術(shù)和連續(xù)語音合成技術(shù)分別完成了對語音輸入用戶問句的識別和對系統(tǒng)生成文本答案的語音合成。進(jìn)一步，本文通過定制語音識別中的語言模型和聲學(xué)模型，使得識別性能基本達(dá)到問答系統(tǒng)的應(yīng)用需求，同時通過實(shí)驗(yàn)分析了語音識別結(jié)果中的置信度、多候選以及拼音層面的識別結(jié)果對問答系統(tǒng)的作用，小幅度提高了語音界面的問答系統(tǒng)的性能。最終36.7％的常見問題可以完全通過語音方式與我們研制的 SpeechQoogle 問答系統(tǒng)交互獲得正確答案，證明了基于問