分布式存儲系統(tǒng)優(yōu)化技術研究.pdf

1、近年來，由于信息技術的發(fā)展，科學技術和商業(yè)計算等眾多應用領域產生了規(guī)模巨大的數據，并且數據量仍在快速增加。為了提高存儲效率，通常將一個大的文件分散存儲為多個小的數據塊，因此必須采用高可靠的數據放置和副本冗余策略保證每個小數據塊的存儲安全，以免因小數據塊丟失發(fā)生用戶文件失效的災難性后果。
　　目前主流的大規(guī)模分布式存儲系統(tǒng)通常利用多個數據存儲節(jié)點分擔存儲處理的負荷，具有成本低、數據安全、可用性高、易擴展和易管理等優(yōu)勢，已經成為未來存

2、儲發(fā)展的一種趨勢。本文針對大規(guī)模分布式存儲系統(tǒng)I/O路徑復雜和存儲節(jié)點故障常態(tài)等問題，在開源的Ceph系統(tǒng)基礎上提出了基于層級映射方式的數據存儲節(jié)點組織和選擇過程算法優(yōu)化模型，通過重新定義不同的層級容器數據結構和選擇算法處理存儲節(jié)點增加或移除導致的數據遷移問題，降低總體計算復雜度。
　　根據現代數據中心常用的數據存儲安全策略，本文還研究了分布式存儲系統(tǒng)中數據放置和副本冗余策略對數據安全性的影響，提出3種能夠兼顧存儲效率和數據安全的

3、存儲模型，在保證數據可靠的前提下提供高效的數據讀寫速度。利用IOZONE仿真實驗軟件對提出的存儲模型進行數據存儲讀寫速率測試評估，并與Ceph系統(tǒng)默認的算法性能進行對比。實驗結果表明，當冗余副本為3份時，本文提出的第3種算法結構優(yōu)化組合模型（即root、rack、host存儲節(jié)點的算法結構分別為staw、tree、uniform）數據讀寫性能表現最好。本文在考慮數據分布算法、數理副本放置策略和存儲效率優(yōu)化前提下構建了具體的測試環(huán)境，并對