基于Hadoop和R語(yǔ)言的網(wǎng)絡(luò)自媒體熱點(diǎn)挖掘系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、自媒體作為有一種不同于主流媒體的新型媒體傳播方式，日漸被越來(lái)越多的人們所接受。在個(gè)性化鮮明的今天，人們?cè)絹?lái)越重視對(duì)事物的獨(dú)立思考，更多的大眾不愿意被一個(gè)統(tǒng)一的聲音告知對(duì)與錯(cuò)，他們更愿意依據(jù)客觀事實(shí)以及自己的思考對(duì)事物做出是非判斷。所以，自媒體中的信息更加能夠反映時(shí)下社會(huì)關(guān)注趨勢(shì)以及輿論風(fēng)向。在此背景下，及時(shí)的發(fā)掘出時(shí)下自媒體話題的熱點(diǎn)，有助于將這些信息用于引導(dǎo)人們的生產(chǎn)生活，譬如個(gè)人的投資行為、大眾的出行行為、以及政府對(duì)輿論的引導(dǎo)都可以

2、得到優(yōu)化。
　　面對(duì)網(wǎng)絡(luò)中鋪天蓋地的自媒體內(nèi)容，傳統(tǒng)的方式已經(jīng)不能勝任對(duì)海量信息搜集和處理的工作。海量的信息需要高效、實(shí)時(shí)的處理才能產(chǎn)生經(jīng)濟(jì)效益和正面的社會(huì)價(jià)值。Hadoop在分布式海量數(shù)據(jù)存儲(chǔ)和處理中擁有高效的性能，利用Hadoop可以有效的解決傳統(tǒng)方式帶來(lái)的困難，幫助我們?cè)诤Ａ康淖悦襟w信息中提取有價(jià)值的信息。R語(yǔ)言擅長(zhǎng)統(tǒng)計(jì)、計(jì)算、制圖，R語(yǔ)言的重點(diǎn)是對(duì)樣本數(shù)據(jù)的分析，，利用R語(yǔ)言可以有效地完成文本分類(lèi)任務(wù)。
　　本課題來(lái)

3、源于成都市經(jīng)信委。屬于實(shí)驗(yàn)室與某研究所的聯(lián)合項(xiàng)目。課題重在研究和實(shí)現(xiàn)基于Hadoop和R語(yǔ)言的自媒體信息挖掘系統(tǒng)。本文從數(shù)據(jù)的搜集、存儲(chǔ)、挖掘、分析、展示等各個(gè)環(huán)節(jié)入手，詳細(xì)的描述整個(gè)研究過(guò)程。本課題的主要工作如下：
　?。?）借助Nutch爬蟲(chóng)抓取自媒體站點(diǎn)內(nèi)容。利用HTML Parser工具對(duì)抓取的網(wǎng)頁(yè)內(nèi)容進(jìn)行處理并對(duì)其結(jié)構(gòu)化存儲(chǔ)，按照XML的形式存放文本信息。
　?。?）對(duì)網(wǎng)頁(yè)文本分詞處理，并進(jìn)行特征化提取，借助TF-