基于MapReduce的并行計(jì)算框架研究與優(yōu)化.pdf

1、如今，伴隨著數(shù)據(jù)量地快速增長(zhǎng)，海量數(shù)據(jù)成為困擾企業(yè)發(fā)展的因素之一。如何有效處理數(shù)據(jù)，減小數(shù)據(jù)訪問(wèn)的并發(fā)壓力，成為大數(shù)據(jù)解決方案不斷發(fā)展的動(dòng)力。MapReduce是分布式計(jì)算中具有重要意義的解決方案之一。它通過(guò)用戶編寫Map和Reduce函數(shù)來(lái)處理大規(guī)模數(shù)據(jù)集。YARN是Hadoop2.0以后設(shè)計(jì)出的新資源管理框架，MapReduce On YARN即MapReduce的第二版，它摒棄了第一代中的 slot、TaskTracker和 Jo

2、bTracker等舊概念，保留原有計(jì)算流程，通過(guò)與 YARN中的ResourceManager、NodeManager和Container等協(xié)調(diào)工作完成作業(yè)的執(zhí)行。
　　本文首先介紹Hadoop平臺(tái)的相關(guān)知識(shí)，其中包括HDFS、YARN的體系架構(gòu)、MapReduce工作原理和Hadoop作業(yè)調(diào)度算法?；谝陨涎芯糠治?，指出MapReduce目前存在的不足。在作業(yè)執(zhí)行過(guò)程中，MapReduce會(huì)讀取處理大量數(shù)據(jù)，但這些數(shù)據(jù)在任務(wù)的讀

3、取、處理、寫入結(jié)果的流程中與 HDFS頻繁交互，造成很多不必要的IO開銷。待處理的數(shù)據(jù)會(huì)跨節(jié)點(diǎn)傳輸，網(wǎng)絡(luò)狀況對(duì)數(shù)據(jù)傳輸會(huì)造成一定的影響，這些將影響到作業(yè)的運(yùn)行效率。有效地提高異構(gòu)環(huán)境下的任務(wù)執(zhí)行本地化效率是MapReduce中需要優(yōu)化的關(guān)鍵點(diǎn)之一。
　　本文針對(duì)于上述問(wèn)題，將基于內(nèi)存的緩存技術(shù)與MapReduce結(jié)合，利用目前業(yè)界流行的緩存思想和技術(shù)，著重于對(duì)緩存架構(gòu)設(shè)計(jì)、緩存數(shù)據(jù)副本放置、緩存替換和任務(wù)調(diào)度等關(guān)鍵問(wèn)題開展研究，旨

4、在提高M(jìn)apReduce的處理速度。主要貢獻(xiàn)如下：
　　1.針對(duì)于異構(gòu)環(huán)境下的分布式存儲(chǔ)特征以及MapReduce的分布式處理，設(shè)計(jì)適用于MapReduce的緩存系統(tǒng)，剖析系統(tǒng)內(nèi)部的模塊。
　　2.針對(duì)于數(shù)據(jù)在網(wǎng)絡(luò)傳輸中的耗費(fèi)，根據(jù)節(jié)點(diǎn)之間的性能差異，參考 HDFS的數(shù)據(jù)塊副本放置策略，改進(jìn)該策略中的不足，將數(shù)據(jù)緩存合理地放入不同節(jié)點(diǎn)上，為有效地實(shí)施任務(wù)本地化執(zhí)行、數(shù)據(jù)容錯(cuò)和負(fù)載均衡提供保障。
　　3.針對(duì)于提升任務(wù)執(zhí)