異構(gòu)環(huán)境下Map-Reduce調(diào)度算法的研究.pdf

1、云計算技術(shù)使中小型企業(yè)不必組建自己的數(shù)據(jù)中心,采用“用時付費(fèi)”的方式,也能獲取需要的計算和存儲服務(wù)。云計算系統(tǒng)背后是強(qiáng)大的并行計算和分布式存儲技術(shù)。Map-Reduce是現(xiàn)有的云系統(tǒng)采用的并行編程模型和調(diào)度方式,在異構(gòu)環(huán)境下,傳統(tǒng)的Map-Reduce調(diào)度器效率低下,浪費(fèi)系統(tǒng)資源,任務(wù)響應(yīng)時間長,吞吐率低。
　　本文首先簡要地介紹了云計算的定義、發(fā)展、應(yīng)用場景、核心技術(shù)、以及改進(jìn)的Map-Reduce調(diào)度器:LATE調(diào)度器。本文的

2、主要工作是:提出了自適應(yīng)的Map-Reduce調(diào)度方式,針對傳統(tǒng)Map-Reduce調(diào)度方式和LATE調(diào)度器的缺點(diǎn)和不足,提出了改進(jìn)方法。即通過歷史信息動態(tài)調(diào)整Map和Reduce任務(wù)各階段的時間比例。并將節(jié)點(diǎn)進(jìn)一步分類,從而能夠在快速節(jié)點(diǎn)上啟動落后任務(wù)的備份任務(wù),從而減小響應(yīng)時間,并盡量避免節(jié)點(diǎn)空載,以免浪費(fèi)系統(tǒng)資源。本文分析了提出的改進(jìn)方式的理論基礎(chǔ),以及其他調(diào)度方式缺點(diǎn)。另外,通過具體實(shí)驗(yàn),驗(yàn)證了自適應(yīng)的Map-Reduce調(diào)度的