微博熱點(diǎn)話題發(fā)現(xiàn)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著計(jì)算機(jī)技術(shù)的不斷發(fā)展，微博作為一種新興的網(wǎng)絡(luò)媒體，已經(jīng)從各個(gè)方面滲透并影響著人們的生活。微博上每天都有大量的信息產(chǎn)生，這些信息或是對(duì)當(dāng)前熱點(diǎn)時(shí)事、重要事件的描述，或是對(duì)這些熱點(diǎn)事件、話題的評(píng)論。微博以其傳播速度快、使用便捷、影響力廣等優(yōu)勢(shì)，迅速?gòu)膫鹘y(tǒng)的社交網(wǎng)絡(luò)中脫穎而出，逐漸成為廣大用戶(hù)發(fā)表觀點(diǎn)、共享信息和社會(huì)交往的一個(gè)重要平臺(tái)。微博具有信息量龐大、信息分散多等特點(diǎn)。當(dāng)前微博信息分析技術(shù)是一個(gè)研究熱點(diǎn)，涉及學(xué)科范圍也很廣，本文主要從

2、微博熱點(diǎn)話題發(fā)現(xiàn)方面進(jìn)行研究。為了發(fā)現(xiàn)微博中的熱點(diǎn)話題，首先需要進(jìn)行微博數(shù)據(jù)的采集;采集之后的數(shù)據(jù)經(jīng)過(guò)預(yù)處理，去除數(shù)據(jù)中的噪聲，然后對(duì)句子中的命名實(shí)體、觸發(fā)詞以及時(shí)間等信息進(jìn)行識(shí)別，得到事件的核心詞信息;根據(jù)事件核心詞，計(jì)算各個(gè)事件之間的相關(guān)度，得到事件相關(guān)微博量占總微博的比例;最后再根據(jù)事件相關(guān)微博的發(fā)布時(shí)間分布判斷相關(guān)熱點(diǎn)事件。
　　本文從微博熱點(diǎn)話題發(fā)現(xiàn)的意義和作用出發(fā)，介紹了目前國(guó)內(nèi)外的研究現(xiàn)狀;之后在研究傳統(tǒng)文本聚類(lèi)方法

3、的基礎(chǔ)上，結(jié)合微博的特點(diǎn)，提出了適合微博的熱點(diǎn)話題發(fā)現(xiàn)技術(shù)。本文提出的微博熱點(diǎn)話題發(fā)現(xiàn)系統(tǒng)，使用微博開(kāi)放的API接口與動(dòng)態(tài)網(wǎng)頁(yè)分析技術(shù)相結(jié)合的方式，進(jìn)行微博數(shù)據(jù)的采集;之后通過(guò)降噪處理、文本分詞和停用詞過(guò)濾等步驟，對(duì)采集的數(shù)據(jù)進(jìn)行預(yù)處理;本文改進(jìn)了傳統(tǒng)的K-Means和BIRCH聚類(lèi)方法，通過(guò)將二者結(jié)合起來(lái)，提出了二次聚類(lèi)K-BIRCH算法，該算法能夠?qū)︻A(yù)處理之后的數(shù)據(jù)進(jìn)行熱點(diǎn)判斷，抽取出熱點(diǎn)話題。最后，本文通過(guò)實(shí)驗(yàn)，分析和驗(yàn)證了系統(tǒng)的