基于內(nèi)容特征的輿情分析系統(tǒng)關(guān)鍵技術(shù)研究與實現(xiàn).pdf

1、網(wǎng)絡(luò)輿情是指在互聯(lián)網(wǎng)上流行的對社會問題的不同看法，是社會輿論的一種表現(xiàn)形式，是通過互聯(lián)網(wǎng)傳播的，公眾對現(xiàn)實生活中某些熱點、焦點問題所持的有較強影響力、傾向性的言論和觀點。加強網(wǎng)絡(luò)輿情信息工作有利于正確引導(dǎo)社會輿論，從而不斷維護社會穩(wěn)定、和諧，是基層網(wǎng)絡(luò)監(jiān)察在新時期的復(fù)雜環(huán)境下需要重點應(yīng)對的工作，從這一點出發(fā)提出了基于內(nèi)容特征的web網(wǎng)絡(luò)輿情系統(tǒng)。
　　論文在分析研究了網(wǎng)絡(luò)輿情處理的信息采集技術(shù)、網(wǎng)絡(luò)爬蟲技術(shù)、數(shù)據(jù)挖掘技術(shù)等關(guān)鍵技術(shù)

2、基礎(chǔ)上，面向基層網(wǎng)絡(luò)監(jiān)察的現(xiàn)實工作需求，設(shè)計并實現(xiàn)了網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)，該系統(tǒng)采用DOM樹和改進的PageRank模型處理網(wǎng)頁，為后期的文本處理奠定良好的數(shù)據(jù)基礎(chǔ);在對輿情發(fā)現(xiàn)分類和聚類技術(shù)分析基礎(chǔ)上，本文提出一個基于兩層結(jié)構(gòu)分類算法，算法對特征選擇和權(quán)重的計算進行相應(yīng)的改進，經(jīng)過算法實驗和對算法特性可以達到提高算法效率的目的。此外，對傳統(tǒng)聚類算法改進，提出基于分布式的數(shù)據(jù)劃分的分裂式層次聚類算法，并在HADOOP平臺上實現(xiàn)基于最大頻繁詞