具有自適應性的Storm任務部署與配置平臺的研究.pdf_第1頁
已閱讀1頁,還剩57頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

1、碩士學位論文具有自適應性的Storm任務部署與配置平臺的研究ResearchofSelfAdaptivePlatformforDeploymentandConfigurationoftheStormTasks學號:星!蘭Q旦!鯉完成日期:20150430大連理工大學DalianUniversityofTechnology大連理工大學碩士學位論文摘要在大數(shù)據(jù)時代,我們正步入一個由數(shù)據(jù)驅動的經(jīng)濟社會,是否能夠高效地、及時地分析海量數(shù)據(jù)變成了

2、一個產(chǎn)業(yè)成功與否的重要前提。在海量數(shù)據(jù)處理環(huán)境中有很多需要在流式數(shù)據(jù)上進行復雜計算的情況。近些年來,Storm作為流數(shù)據(jù)實時處理利器在工業(yè)界和學術界都引起了廣泛關注,對Storm的處理性能的優(yōu)化工作更是成為業(yè)界研究的熱點。已經(jīng)有很多研究工作以優(yōu)化Storm任務調度為出發(fā)點,在一定程度上提高了Storm的處理數(shù)據(jù)的效率。但是他們大都忽略了任務配置參數(shù)的好壞對Storm處理性能的直接影響。實際上,如果不能對任務配置參數(shù)有很恰當?shù)脑O定,那么將

3、對Stoma集群處理性能以及穩(wěn)定性產(chǎn)生嚴重影響,而且以往的優(yōu)化方案也都不能夠達到很理想的優(yōu)化效果。在研究了流式處理框架Stoma及相關技術的基礎上,本文提出一種具有集群自適應性的Storm任務部署與配置平臺,致力于解決Storm集群性能優(yōu)化問題。在本平臺中,本文主要實現(xiàn)了以下功能服務:(1)為監(jiān)控集群資源變化情況、獲取歷史分配信息以及監(jiān)控集群節(jié)點間任務通信量的情況,本文設計實現(xiàn)了Storm集群感知模塊;(2)為解決任務運行進程數(shù)目的盲目

4、設置對處理性能造成的不良影響,本文設計實現(xiàn)了Storm任務配置自調節(jié)模塊:(3)為提高集群處理性能,在(1)和(2)的基礎上,本文設計實現(xiàn)了一種基于此平臺的Storm調度算法。經(jīng)過實驗證明,在結合對集群全局狀態(tài)的感知以及對任務配置參數(shù)合理的自調節(jié)之后,本文的調度算法能夠大大減少集群內部任務通信量,在很大程度上提高了Storm集群的處理性能,為海量流數(shù)據(jù)的分析處理提供了更為高效敏捷的處理方案。實驗表明,此方法在事務處理時延上要比Storm

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經(jīng)權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
  • 5. 眾賞文庫僅提供信息存儲空間,僅對用戶上傳內容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論