基于Storm實時日志分析存儲系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、目前，很多互聯(lián)網(wǎng)公司需要對數(shù)據(jù)信息進(jìn)行實時計算處理，其中包括實時的風(fēng)控管理，實時的輿情監(jiān)控，實時的個性化推薦等，這些應(yīng)用的數(shù)據(jù)多數(shù)來自系統(tǒng)產(chǎn)生的日志信息，因此日志信息的處理對公司業(yè)務(wù)十分重要。根據(jù)企業(yè)對日志實時處理的要求，本文設(shè)計并實現(xiàn)了一個基于Storm日志實時分析存儲的系統(tǒng)。
　　本文介紹了日志實時分析的研究意義，開發(fā)過程中涉及到的相關(guān)技術(shù)，設(shè)計了系統(tǒng)的整體架構(gòu)和功能模塊。本文的重點主要是實時日志分析的后端架構(gòu)。架構(gòu)中，使用分

2、布式的Flume組件來監(jiān)控多個不同日志文件，日志信息通過Memory Channel發(fā)送到Kafka的Sink上。在日志的收集模塊和處理模塊之間使用Kafka作為中間件，實現(xiàn)流量削峰和業(yè)務(wù)模塊的解耦。在實時處理的模塊中采用Storm技術(shù)，Storm的Spout組件讀取Kafka上的數(shù)據(jù)，并通過Bolt節(jié)點實現(xiàn)對模塊的分析和處理。Spout把讀取的數(shù)據(jù)封裝成Tuple數(shù)據(jù)發(fā)送給下游的 Bolt節(jié)點，系統(tǒng)根據(jù)創(chuàng)建的 Topology進(jìn)行流數(shù)