Web檢索中的查詢擴(kuò)展及結(jié)果聚類技術(shù)研究.pdf

1、近年來(lái)隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展,Web信息量飛速增長(zhǎng),如何從大量信息中迅速有效地檢索出所需的信息成為了人們關(guān)注的問(wèn)題,搜索引擎也因此走入了人們的生活。如今,搜索引擎的功能日益強(qiáng)大,抓取的信息也日益增多,但用戶卻似乎越來(lái)越難檢索到自己所需要的信息。歸結(jié)因?yàn)橹饕袃牲c(diǎn),一是由于關(guān)鍵詞所能夠反映的信息量是有限的,用戶無(wú)法通過(guò)簡(jiǎn)單的幾個(gè)查詢?cè)~準(zhǔn)確的表達(dá)自己的查詢意圖。二是由于目前典型的搜索引擎返回的是一個(gè)處理后的結(jié)果列表,內(nèi)容非常雜亂和龐大,由于缺

2、少反映搜索結(jié)果內(nèi)部關(guān)聯(lián)的信息,用戶很難從迅速識(shí)別出自己需要的信息。針對(duì)以上兩點(diǎn)主要問(wèn)題,本文主要研究了用戶查詢擴(kuò)展技術(shù)和搜索結(jié)果自動(dòng)聚類技術(shù)。
　　 在查詢擴(kuò)展技術(shù)中引入語(yǔ)義計(jì)算是一個(gè)重要研究方向?，F(xiàn)有的解決方法普遍存在引入無(wú)關(guān)詞、缺少領(lǐng)域知識(shí)以及篩選函數(shù)不恰當(dāng)?shù)膯?wèn)題。本文提出了一種結(jié)合了領(lǐng)域知識(shí)選取與局部反饋的語(yǔ)義關(guān)聯(lián)樹(shù)的查詢擴(kuò)展模型,從語(yǔ)義的角度進(jìn)行查詢擴(kuò)展,改進(jìn)了擴(kuò)展詞篩選函數(shù)、增加了閾值限定,有效控制了噪音。
　　

3、 在聚類算法上,STC方法是一種公認(rèn)較好的用于Web搜索結(jié)果聚類的算法。SHOC、Lingo算法將向量空間模型(VSD Model)與后綴樹(shù)文檔表示模型結(jié)合起來(lái),既考慮了詞的位置信息,又考慮詞的統(tǒng)計(jì)特性,在STC的基礎(chǔ)上有了較好的發(fā)展。然而,現(xiàn)有的聚類算法普遍存在聚類標(biāo)簽可讀性不強(qiáng),信息量不足,區(qū)分性較差等問(wèn)題,且聚類結(jié)果不能充分反映用戶興趣。
　　 本文提出了一種改進(jìn)的Web檢索結(jié)果聚類推薦算法CQIG,構(gòu)建后綴數(shù)組找到完整

4、短語(yǔ),結(jié)合矩陣奇異值分解產(chǎn)生候選聚類標(biāo)簽,選取更為有效的特征改進(jìn)標(biāo)簽評(píng)分公式和聚類得分公式。同時(shí)采用了基本類合并技術(shù),產(chǎn)生了更具表述性、區(qū)分性和可讀性的聚類結(jié)果并有效控制了重疊聚類。本文方法同時(shí)還加強(qiáng)了對(duì)于中文檢索的處理效果。
　　 本文建立了Web搜索結(jié)果聚類推薦引擎,采用了carrot2平臺(tái)作為基礎(chǔ)框架,通過(guò)各種大型搜索引擎API獲得源數(shù)據(jù),通過(guò)網(wǎng)頁(yè)清洗,分詞,提取特征項(xiàng),建立VSM,構(gòu)造CQIG、STC及Lingo進(jìn)行聚類