一種基于糾刪碼的分布式備份技術(shù)的研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)和信息技術(shù)的不斷發(fā)展,存儲系統(tǒng)中的數(shù)據(jù)量不斷增長并呈海量形式發(fā)展。傳統(tǒng)的依賴本地服務(wù)器的存儲已經(jīng)無法滿足日益增長的存儲需求,因此大規(guī)模的基于分布式存儲的數(shù)據(jù)中心正在迅速增長。分布式存儲系統(tǒng)中,為了保障數(shù)據(jù)的可用性,容災備份是關(guān)鍵問題之一,這需要使用容錯策略來實現(xiàn)系統(tǒng)的高可靠性,特別是存在大量的冷數(shù)據(jù)的分布式存儲系統(tǒng)中,冷數(shù)據(jù)的備份方式需要特別考慮。針對上述問題,在介紹備份容錯策略的基礎(chǔ)上,對分布式系統(tǒng)的編碼備份技術(shù)進行了分

2、析和研究,并提出了一種基于編碼的分布式備份方案。
　　通過對現(xiàn)有編碼技術(shù)的研究,提出了一種基于糾刪碼的,適用于含大量冷數(shù)據(jù)分布式系統(tǒng)的一種備份架構(gòu)。這種架構(gòu)在保障數(shù)據(jù)可靠性的同時,能夠提高系統(tǒng)的存儲利用率,提高系統(tǒng)的負載均衡性,縮短節(jié)點失效時的修復時間,增加系統(tǒng)靈活性。在系統(tǒng)設(shè)計上,為了使系統(tǒng)的負載更為均衡,將存儲節(jié)點中的物理節(jié)點根據(jù)需求分為多個虛擬節(jié)點并且排序后均勻分布在圓環(huán)結(jié)構(gòu)中,虛擬節(jié)點存儲用戶數(shù)據(jù)。同時,根據(jù)用戶需求設(shè)計不

3、同的備份服務(wù)器,選擇存儲組,存儲組由多個不在同一物理節(jié)點的虛擬節(jié)點構(gòu)成,備份服務(wù)器中的數(shù)據(jù)經(jīng)過分割,糾刪碼編碼后,分散存儲到存儲組內(nèi)的虛擬節(jié)點上,不同的用戶需求可以選擇不同的糾刪碼。處理失效時,數(shù)據(jù)塊通過解碼的方式恢復來保證其可靠性,物理節(jié)點通過多存儲組的并行恢復在保證可靠性的同時,縮短恢復時間。
　　基于設(shè)計的模型,對基于糾刪碼的分布式備份方案進行了仿真測試,通過節(jié)點選取和數(shù)據(jù)修復的測試,驗證了編碼備份方案能保證數(shù)據(jù)的可靠性,相