基于主題爬蟲與文本分類的微博資訊智能生成策略研究.pdf

1、隨著移動互聯(lián)網(wǎng)的快速發(fā)展,中國手機網(wǎng)民數(shù)量已經(jīng)超越PC,各種手機應用層出不窮,其中手機微博已經(jīng)成為使用率增長最快的手機應用。越來越多的人們使用微博進行交流互動,尤其是在面向垂直細分領域的專業(yè)微博中,用戶有強烈的獲取權威資訊信息的需求。但是,傳統(tǒng)的微博缺乏良好的信息查詢與推送功能,難以滿足不同人群的信息獲取需要。因此,根據(jù)不同行業(yè)主題,利用微博平臺將互聯(lián)網(wǎng)上豐富的行業(yè)資訊信息進行自動采集推送,具有重要的理論研究和實際應用價值。
　　

2、在基于主題爬蟲與文本分類的微博資訊智能生成策略中,利用主題爬蟲技術和文本分類技術將互聯(lián)網(wǎng)上豐富的行業(yè)信息按主題進行采集分類并通過手機微博客戶端向特定用戶群體提供資訊查詢和推送服務。首先,在針對主題信息的采集中提出了一種面向特定領域的主題式爬取策略,通過對開源爬蟲框架Heritrix進行主題模塊的擴展,使爬蟲只抓取與特定主題相關的最新行業(yè)信息。其次,在網(wǎng)頁數(shù)據(jù)處理過程中通過改進文本分類算法,設計了一種中文網(wǎng)頁文本分類器,對抓取的網(wǎng)頁按行業(yè)

3、主題進行自動細分類并提取數(shù)據(jù)生成有價值資訊信息。然后,通過手機微博平臺將分類的信息通過設定的不同微博頻道或者智能賬號進行動態(tài)展示與發(fā)布。最后,以農(nóng)業(yè)主題為例將基于主題爬蟲與文本分類的微博資訊智能生成策略應用在海南手機農(nóng)業(yè)微博中進行農(nóng)務資訊的生成與推送。
　　在海南手機農(nóng)業(yè)微博中實現(xiàn)農(nóng)業(yè)微博資訊的智能生成,并對微博資訊生成策略進行了相關的功能和性能測試。實驗結(jié)果表明:這種微博資訊生成策略能夠及時獲取最新行業(yè)相關資訊,進行詳細準確的信