基于Hadoop平臺的云計算構建與日志分析.pdf

1、云計算是一種新型計算模型，它將計算任務分布在大量計算機構成的資源池里，使用戶能夠按需獲取計算能力、存儲空間和信息服務。與傳統(tǒng)的數據處理模式相比，云計算技術可以有效解決大規(guī)模數據處理面臨的性能瓶頸問題，提高了數據處理的可靠性及可擴展性，提高了數據處理能力的同時降低了計算對硬件設備的要求。本文對云計算概念、種類、關鍵技術等進行了重點研究。
　　 Hadoop是一個開源分布式計算平臺，它專為處理大規(guī)模數據和分布式計算而設計，是實現云計

2、算的主要可選方式之一。Hadoop平臺具有高效、可靠、擴展性強等特點，它的兩個主要組成部分是Hadoop分布式文件系統(tǒng)HDFS和并行處理模型MapReduce。本文對HDFS的幾個方面:設計前提與目標、體系結構、保障可靠性措施和提升性能措施以及MapReduce的幾個方面:邏輯模型、編程模型、實現機制以及執(zhí)行流程的細致分析和研究。
　　 在分析了原有海量數據處理系統(tǒng)之后，結合云計算技術和Hadoop的優(yōu)勢，建立了一個新的數據處理

3、模型，依據該模型搭建了系統(tǒng)平臺，并使用Web日志作為源數據進行了平臺上的性能分析。通過實驗對比，總結了利用云計算技術，使得日志分析過程在消耗時間上大大縮短，并且隨著數據量的增大，Hadoop平臺的處理能力和數據存儲能力也在適應著數據量的變化，恰恰體現了云計算技術在處理大規(guī)模數據時計算能力、存儲空間等按需提高的優(yōu)勢?；贖adoop平臺的云計算環(huán)境在處理大規(guī)模數據方面解決了傳統(tǒng)數據處理方法計算能力與存儲能力的性能瓶頸問題，并且良好的可擴展