基于Hadoop的云計(jì)算模型研究與應(yīng)用.pdf

1、隨著社會(huì)進(jìn)步和互聯(lián)網(wǎng)技術(shù)發(fā)展，網(wǎng)絡(luò)數(shù)據(jù)量飛速增長且規(guī)模日漸龐大，不管是企業(yè)還是個(gè)人都面臨如何對(duì)這些海量數(shù)據(jù)進(jìn)行有效存儲(chǔ)和分析的難題。面對(duì)正在增長的海量數(shù)據(jù)，傳統(tǒng)數(shù)據(jù)處理方法存在數(shù)據(jù)存儲(chǔ)成本過高、海量數(shù)據(jù)管理較困難、可靠性較低、效率低下、并行處理程序編寫困難等諸多缺點(diǎn)。人們需要一種新的技術(shù)思想來解決這些問題。云計(jì)算的思想就很自然地被提出來。
　　云計(jì)算通過整合互聯(lián)網(wǎng)絡(luò)中的閑散資源，對(duì)外提供強(qiáng)大的存儲(chǔ)和計(jì)算能力，以及一些其它解決方案。

2、Hadoop是一個(gè)開源分布式數(shù)據(jù)處理框架，被用于高效地處理海量數(shù)據(jù)。由于Hadoop具有可伸縮性、高可靠性、低成本性和高效性等優(yōu)點(diǎn)，已成為一種流行的云計(jì)算開發(fā)平臺(tái)。但是Hadoop也存在一定的缺陷，例如，在Hadoop集群中只要一個(gè)名字節(jié)點(diǎn)來管理整個(gè)文件系統(tǒng)的元數(shù)據(jù)和執(zhí)行重要的文件系統(tǒng)操作。這會(huì)限制集群的可擴(kuò)展性、可用性；另外，在傳統(tǒng)Hadoop中，計(jì)算和存儲(chǔ)是緊耦合的，這也會(huì)對(duì)集群的性能造成限制。
　　本文的研究課題是基于Had

3、oop的云計(jì)算模型研究與應(yīng)用，主要目標(biāo)是：分析傳統(tǒng)Hadoop框架的性能瓶頸，設(shè)計(jì)一種新的Hadoop框架；在改進(jìn)傳統(tǒng)Hadoop框架的基礎(chǔ)上，設(shè)計(jì)基于改進(jìn)后的Hadoop的云計(jì)算模型，實(shí)現(xiàn)相應(yīng)云計(jì)算平臺(tái)，重點(diǎn)解決海量數(shù)據(jù)存儲(chǔ)和分析的難題。
　　論文的主要工作和成果如下：
　?、俳榻B云計(jì)算的基礎(chǔ)理論，包括云計(jì)算的概念、特點(diǎn)、關(guān)鍵技術(shù)和典型的平臺(tái)應(yīng)用。
　　②闡述Hadoop的基礎(chǔ)架構(gòu)，包括分布式文件系統(tǒng)（HDFS）、并

4、行編程模型MapReduce的原理和實(shí)現(xiàn)機(jī)制、Hadoop框架優(yōu)化措施等。詳細(xì)分析了HDFS的數(shù)據(jù)管理機(jī)制、性能保障措施、以及文件的讀取和寫入過程。
　?、鄯治鯤adoop的性能瓶頸，設(shè)計(jì)了一個(gè)新型的Hadoop架構(gòu)，解決了傳統(tǒng)Hadoop架構(gòu)中的單名字節(jié)點(diǎn)的瓶頸問題，以及計(jì)算與存儲(chǔ)緊耦合問題，通過理論分析和實(shí)驗(yàn)對(duì)比，論證了新框架的高效性。新框架具有高可用性和良好的可擴(kuò)展能力。
　　④完成了基于改進(jìn)的Hadoop的云計(jì)算模型