Hadoop平臺存儲策略的研究與優(yōu)化.pdf

1、隨著經濟、社會以及科學技術的發(fā)展，數字信息正在經歷爆炸式的增長。信息化和互聯網的發(fā)展以及廉價的存儲設備的出現，為海量信息存儲提供了動力和物理基礎。數據量比較小的時候，存儲和備份數據比較簡單，隨著數據量達到TB甚至PB級別，存儲和備份如此龐大的數據成為一個棘手的問題，而且人們對數據的存儲效率和安全性的要求也在不斷的提高。如何高效的存儲和讀取數據成為人們關注的重點，云計算是目前比較成熟的方案，是對數據存儲和數據安全的一個有效解決辦法，能夠提

2、高數據的安全性和存儲速度。Hadoop是云計算里面比較流行的框架，具體高可靠性、高效性、高擴展性和高容錯性的優(yōu)勢。而且它是開源框架，非常適合科研和應用，所以本文選擇Hadoop框架作為云計算的研究對象。
　　基于如何高效存儲海量數據的問題，本文在分析Hadoop的HDFS(HadoopDistributed File System)原理和存儲策略基礎上，結合實際應用Hadoop平臺遇到的問題，分析其HDFS文件系統(tǒng)數據存儲策略的局

3、限和不足，提出了HDFS分布式文件系統(tǒng)的優(yōu)化存儲策略DIFT(Dstat Iostat Free Top)。DIFT存儲策略利用更完善的數據節(jié)點的狀態(tài)信息作為策略依據，能夠提高集群的磁盤和網絡帶寬的利用率，減少瓶頸出現的可能性，提高了系統(tǒng)性能，使集群具有更好的負載均衡和用戶體驗。
　　本文主要研究內容是：首先對Hadoop的HDFS模型的原理研究和分析，從控制節(jié)點、數據節(jié)點、文件塊的數據結構以及接口、類、方法的調用關系方面詳細分析

4、和研究，分析HDFS的運行原理和功能的實現方法。其次從數據結構、狀態(tài)信息、心跳協(xié)議等方面研究和設計DIFT存儲策略的實現，最后編譯含有DIFT存儲策略的Hadoop代碼，把DIFT存儲策略應用到Hadoop集群上，實驗驗證和測試策略的效果。DIFT存儲策略具有可配置的特性，設計時充分考慮用戶實際情況的特殊性，用戶可以根據自己實際需求設置符合實際應用的策略配置。實驗證明，DIFT存儲策略提高了Hadoop的HDFS分布式文件系統(tǒng)的存儲效率