基于存儲驅(qū)動的Hadoop節(jié)能調(diào)度策略研究.pdf

1、二十一世紀(jì)是信息的時代，信息傳輸伴隨著數(shù)據(jù)量的增加，人們逐漸發(fā)現(xiàn)隱含在這些海量數(shù)據(jù)下的價值，于是用于分析處理海量數(shù)據(jù)的平臺應(yīng)運而生，Hadoop便是這其中最經(jīng)典的海量數(shù)據(jù)處理框架。Hadoop需要構(gòu)建一個龐大的數(shù)據(jù)節(jié)點集群，通過HDFS，Yarn，MapReduce等組件實現(xiàn)海量數(shù)據(jù)的高效并行計算。然而近年來二氧化碳等溫室氣體的排放量逐年增加，導(dǎo)致了全球溫室效應(yīng)日益嚴(yán)重，與此同時大規(guī)模數(shù)據(jù)中心需要龐大的服務(wù)器集群作為支撐，以及大規(guī)模的制

2、冷設(shè)備會消耗大量的能量以及企業(yè)成本開銷，使得數(shù)據(jù)中心的節(jié)能減排問題越來越受到重視，基于這些原因使得Hadoop節(jié)能研究變得十分必要。
　　本文通過對Hadoop自帶的隨機(jī)選擇存儲策略和磁盤輪詢存儲策略兩種副本存儲策略深入剖析，找出兩種策略在能耗控制方面的缺陷，同時結(jié)合數(shù)據(jù)本地化的Hadoop任務(wù)調(diào)度原則，本文提出一種策略，即通過數(shù)據(jù)本地化原則將任務(wù)的調(diào)度問題轉(zhuǎn)化為數(shù)據(jù)塊副本的調(diào)度問題，創(chuàng)新的設(shè)計出一種基于存儲驅(qū)動的Hadoop節(jié)能

3、調(diào)度策略，同時構(gòu)建出兩層副本存儲策略來控制集群負(fù)載均衡以及能量消耗，作為本文設(shè)計的節(jié)能調(diào)度策略的核心。
　　本文設(shè)計的節(jié)能策略可以實現(xiàn)Hadoop集群任務(wù)的運行時間和總體能耗兩個維度上的節(jié)能。該策略核心是兩層副本存儲策略。其中第一層副本存儲策略根據(jù)數(shù)據(jù)節(jié)點磁盤的剩余容量，讀寫操作引用數(shù)實現(xiàn)兩層算法，通過實現(xiàn)負(fù)載均衡提高集群整體性能，從而減少任務(wù)的運行時間。第二層副本存儲策略主要考慮任務(wù)本身的種類特征以及任務(wù)所在數(shù)據(jù)節(jié)點的實時狀態(tài)，

4、通過對任務(wù)特征任務(wù)與數(shù)據(jù)節(jié)點的實時狀態(tài)進(jìn)行匹配，使任務(wù)被分配到能耗最少的數(shù)據(jù)節(jié)點上執(zhí)行，從而達(dá)到減少集群能耗的目的。
　　最后本文通過XenServer平臺搭建了具有32個數(shù)據(jù)節(jié)點的Hadoop集群環(huán)境，首先通過兩組實驗得出了本文設(shè)計的能量度量模型理論推導(dǎo)公式的近似參數(shù)，接下來將本文設(shè)計的節(jié)能調(diào)度策略與Hadoop自帶的隨機(jī)選擇和磁盤輪詢存儲策略相對比，用三組對比實驗證明了本文設(shè)計的節(jié)能調(diào)度策略在控制數(shù)據(jù)節(jié)點磁盤負(fù)載均衡方面具有較