具有自適應性的Storm任務部署與配置平臺的研究.pdf

1、碩士學位論文具有自適應性的Storm任務部署與配置平臺的研究ResearchofSelfAdaptivePlatformforDeploymentandConfigurationoftheStormTasks學號：星!蘭Q旦!鯉完成日期：20150430大連理工大學DalianUniversityofTechnology大連理工大學碩士學位論文摘要在大數(shù)據(jù)時代，我們正步入一個由數(shù)據(jù)驅動的經(jīng)濟社會，是否能夠高效地、及時地分析海量數(shù)據(jù)變成了

2、一個產(chǎn)業(yè)成功與否的重要前提。在海量數(shù)據(jù)處理環(huán)境中有很多需要在流式數(shù)據(jù)上進行復雜計算的情況。近些年來，Storm作為流數(shù)據(jù)實時處理利器在工業(yè)界和學術界都引起了廣泛關注，對Storm的處理性能的優(yōu)化工作更是成為業(yè)界研究的熱點。已經(jīng)有很多研究工作以優(yōu)化Storm任務調度為出發(fā)點，在一定程度上提高了Storm的處理數(shù)據(jù)的效率。但是他們大都忽略了任務配置參數(shù)的好壞對Storm處理性能的直接影響。實際上，如果不能對任務配置參數(shù)有很恰當?shù)脑O定，那么將

3、對Stoma集群處理性能以及穩(wěn)定性產(chǎn)生嚴重影響，而且以往的優(yōu)化方案也都不能夠達到很理想的優(yōu)化效果。在研究了流式處理框架Stoma及相關技術的基礎上，本文提出一種具有集群自適應性的Storm任務部署與配置平臺，致力于解決Storm集群性能優(yōu)化問題。在本平臺中，本文主要實現(xiàn)了以下功能服務：(1)為監(jiān)控集群資源變化情況、獲取歷史分配信息以及監(jiān)控集群節(jié)點間任務通信量的情況，本文設計實現(xiàn)了Storm集群感知模塊；(2)為解決任務運行進程數(shù)目的盲目

4、設置對處理性能造成的不良影響，本文設計實現(xiàn)了Storm任務配置自調節(jié)模塊：(3)為提高集群處理性能，在(1)和(2)的基礎上，本文設計實現(xiàn)了一種基于此平臺的Storm調度算法。經(jīng)過實驗證明，在結合對集群全局狀態(tài)的感知以及對任務配置參數(shù)合理的自調節(jié)之后，本文的調度算法能夠大大減少集群內部任務通信量，在很大程度上提高了Storm集群的處理性能，為海量流數(shù)據(jù)的分析處理提供了更為高效敏捷的處理方案。實驗表明，此方法在事務處理時延上要比Storm