基于語言模型的微博文本檢索方法.pdf

1、微博提供了一種新的信息傳播方式。在微博上,人們可以通過最多140個(gè)字來快速自由地表達(dá)自己的感受、見聞或者意見。微博自從出現(xiàn)以來經(jīng)歷了巨大的發(fā)展,目前風(fēng)靡全球的 Twitter和國內(nèi)流行的新浪微博都有著數(shù)以億記的用戶,每天產(chǎn)生出巨大數(shù)量的新內(nèi)容。
　　隨著微博的發(fā)展,它已經(jīng)成為人們獲取信息的一種重要方式。微博中的信息與傳統(tǒng)網(wǎng)頁信息相比更加具有時(shí)效性,因?yàn)槲⒉┑膬?nèi)容大部分是對熱門話題的報(bào)導(dǎo)或者討論?！皼]有檢索的信息是無用的”,對于微博

2、中海量的數(shù)據(jù),如何使用戶快速有效的得到他想要的內(nèi)容,是微博檢索的主要目的。
　　本文研究了微博文本檢索的兩個(gè)主要特點(diǎn):(1)相關(guān)性。即檢索結(jié)果應(yīng)該與用戶的查詢盡可能的相關(guān)。(2)實(shí)時(shí)性。即用戶希望得到盡可能新的結(jié)果。目前流行的商用搜索引擎都采用了一種簡單的檢索模型,即將包含所有查詢詞的微博按其創(chuàng)建時(shí)間排序。這種方法雖然考慮到了微博檢索的兩個(gè)特點(diǎn),按創(chuàng)建時(shí)間排序的方法也保證了檢索結(jié)果的實(shí)時(shí)性,但是這種方法過于“嚴(yán)格”的相關(guān)性判斷標(biāo)準(zhǔn)

3、會使得大量的相關(guān)文檔被過濾掉。
　　本文在語言模型的檢索方法下整體考慮微博檢索的相關(guān)性和實(shí)時(shí)性。語言模型方法主要包括兩個(gè)部分:與查詢相關(guān)的相關(guān)性模型和與查詢無關(guān)的文檔先驗(yàn)?zāi)Ｐ?。本文使用了一種基于創(chuàng)建時(shí)間的文檔先驗(yàn)?zāi)Ｐ蛠砜紤]微博檢索的實(shí)時(shí)性,實(shí)驗(yàn)結(jié)果表明這種模型的引入可以使結(jié)果提高4％到5%。而對于相關(guān)性模型的選擇,本文對比了古老的伯努利模型和目前占主導(dǎo)地位的多項(xiàng)式模型。雖然多項(xiàng)式模型在傳統(tǒng)的文本檢索中被認(rèn)為是優(yōu)于伯努利模型的,但最

4、近伯努利模型在句子檢索中的優(yōu)秀表現(xiàn)顯示了它在短文本檢索中的有效性?？紤]到微博的短文本特性,有必要對伯努利模型在微博檢索的效果進(jìn)行研究。實(shí)驗(yàn)結(jié)果表明伯努利模型在微博檢索中的結(jié)果的準(zhǔn)確率要高于多項(xiàng)式模型,而且伯努利模型對于平滑參數(shù)的改變也比多項(xiàng)式模型更加穩(wěn)定。因此,在語言模型方法中結(jié)合了伯努利模型和基于微博創(chuàng)建時(shí)間的文檔先驗(yàn)?zāi)Ｐ偷臋z索方法有著最好的結(jié)果。
　　除了對檢索結(jié)果按相關(guān)性排序的方法之外,本文還研究了將檢索結(jié)果按微博創(chuàng)建時(shí)間排

5、序的方法。本文采用了一種利用語言模型的檢索結(jié)果進(jìn)行重排序的方法,并對重排序閾值的選擇進(jìn)行了重點(diǎn)研究,使用了一種基于文檔得分分布的自動(dòng)閾值選擇方法。這種方法利用高斯分布對相關(guān)文檔的得分進(jìn)行建模,并用指數(shù)分布對不相關(guān)文檔的得分進(jìn)行建模,并在缺少相關(guān)性標(biāo)注的情況下利用期望最大化算法(EM)對混合模型進(jìn)行參數(shù)估計(jì)。實(shí)驗(yàn)結(jié)果表明這種自動(dòng)閾值選擇方法的結(jié)果要比人工設(shè)定固定閾值的方法至少高出9%,而且自動(dòng)閾值選擇的方法也避免了在沒有任何啟發(fā)信息的情況