Hadoop框架的擴(kuò)展和性能調(diào)優(yōu).pdf

1、云計(jì)算作為一種新的概念在2007年成為了人們熱議的話題,在隨后的幾年內(nèi)云計(jì)算得到了快速的發(fā)展。從計(jì)算模式來(lái)看,云計(jì)算、分布式計(jì)算和網(wǎng)格計(jì)算有很多相似之處,深入研究云計(jì)算產(chǎn)生的背景就可以看出,云計(jì)算是在分布式計(jì)算和網(wǎng)格計(jì)算的基礎(chǔ)之上發(fā)展起來(lái)的。以前的分布式計(jì)算和網(wǎng)格計(jì)算主要用于科學(xué)研究方面,隨著互聯(lián)網(wǎng)的迅速發(fā)展,分布式計(jì)算和網(wǎng)格計(jì)算的思想逐漸演化為一種更適合商用的計(jì)算模式-云計(jì)算。
　　論文首先介紹了云計(jì)算與網(wǎng)格計(jì)算的相關(guān)背景知識(shí),

2、并分析了兩者之間的區(qū)別,然后對(duì)云計(jì)算平臺(tái)Hadoop核心組成MapReduce、HDFS(Hadoop Distributed File System)和Hbase等的關(guān)鍵技術(shù)進(jìn)行詳細(xì)的分析與研究。接著詳細(xì)介紹了LSF(Load Sharing Facility)系統(tǒng)的架構(gòu)組成,包括LSF base和LSF batch兩部分,并對(duì)LSF的作業(yè)執(zhí)行流程和系統(tǒng)負(fù)載均衡進(jìn)行了深入細(xì)致的分析。
　　論文在對(duì)Hadoop系統(tǒng)深入研究分析之后

3、,發(fā)現(xiàn)Hadoop在面對(duì)企業(yè)級(jí)應(yīng)用時(shí)有3大不足,分別是單點(diǎn)故障、調(diào)度算法單一、異構(gòu)平臺(tái)兼容性差。針對(duì)這幾點(diǎn)不足,論文對(duì)Hadoop系統(tǒng)與LSF系統(tǒng)進(jìn)行了關(guān)聯(lián)性整合,形成一個(gè)新的系統(tǒng)LSH(Load Share Hadoop)。系統(tǒng)整合主要有兩大結(jié)合點(diǎn),第一,將LSF的作業(yè)控制機(jī)制LIM(Load Information Manager)、RES(Remote Execution Server)和SBD(sbatch,一個(gè)守護(hù)進(jìn)程)加入到

4、Hadoop系統(tǒng)的HDFS層與MapReduce層之間;第二,LSF的master節(jié)點(diǎn)與HDFS的NameNode之間通過(guò)開(kāi)放接口共享信息。整合后的系統(tǒng)LSH有效地防止了Hadoop系統(tǒng)的單點(diǎn)故障問(wèn)題,也解決了Hadoop調(diào)度算法單一的問(wèn)題和Hadoop對(duì)異構(gòu)平臺(tái)的兼容性問(wèn)題。
　　論文最后針對(duì)整合后的系統(tǒng)LSH和原生態(tài)的Hadoop系統(tǒng)設(shè)計(jì)了不同的實(shí)驗(yàn),分別來(lái)驗(yàn)證兩系統(tǒng)對(duì)單點(diǎn)故障的處理、差異性作業(yè)的性能和異構(gòu)平臺(tái)的適應(yīng)性方面的表