糾刪碼存儲(chǔ)系統(tǒng)中性能優(yōu)化技術(shù)研究.pdf

1、隨著信息技術(shù)的發(fā)展，數(shù)據(jù)規(guī)模呈爆炸性增長。為了滿足數(shù)據(jù)存儲(chǔ)的需求，大量數(shù)據(jù)中心被建立來存儲(chǔ)數(shù)據(jù)。這些數(shù)據(jù)中心由大規(guī)模的存儲(chǔ)集群構(gòu)成，它們使用成千上萬臺(tái)大容量的服務(wù)器/個(gè)人計(jì)算機(jī)節(jié)點(diǎn)來存儲(chǔ)數(shù)據(jù)并提供在線，近線或離線服務(wù)。在如此大規(guī)模的系統(tǒng)中，失效（扇區(qū)錯(cuò)誤，磁盤故障，節(jié)點(diǎn)不可用，機(jī)架停運(yùn)和數(shù)據(jù)中心災(zāi)難等）成為經(jīng)常性事件，而失效事件可能導(dǎo)致數(shù)據(jù)丟失。因此數(shù)據(jù)中心存儲(chǔ)系統(tǒng)采用各種保護(hù)技術(shù)來防止失效發(fā)生時(shí)可能造成的數(shù)據(jù)丟失，如副本、快照、連續(xù)數(shù)

2、據(jù)保護(hù)、糾刪碼等。其中糾刪碼具有高存儲(chǔ)效率、低成本、高容錯(cuò)、高可靠性的特征，是現(xiàn)在研究的熱點(diǎn)。然而，盡管糾刪碼有極其明顯的成本優(yōu)勢和可靠性優(yōu)勢，但也帶來高恢復(fù)開銷、高降級讀延時(shí)、高編解碼開銷等問題，從而導(dǎo)致系統(tǒng)性能降級。因此，提高糾刪碼的實(shí)際性能有重要的研究意義和廣泛的應(yīng)用價(jià)值。
　　本文對現(xiàn)有糾刪碼存儲(chǔ)系統(tǒng)進(jìn)行分析和測試，以減少糾刪碼存儲(chǔ)系統(tǒng)的恢復(fù)開銷、降低系統(tǒng)的訪問延時(shí)、提高系統(tǒng)的服務(wù)能力為目標(biāo)，研究高效糾刪碼存儲(chǔ)系統(tǒng)中的若干

3、關(guān)鍵技術(shù)，提出一系列新穎的設(shè)計(jì)思想和解決方案。
　　具體來說，本文主要?jiǎng)?chuàng)新工作體現(xiàn)在下面三個(gè)方面：
　　1.路徑選擇恢復(fù)策略。糾刪碼被設(shè)計(jì)并被廣泛部署在磁盤陣列或存儲(chǔ)集群中來保護(hù)數(shù)據(jù)，防止磁盤或節(jié)點(diǎn)失效造成的數(shù)據(jù)丟失。雖然糾刪碼往往具備容多個(gè)磁盤/節(jié)點(diǎn)失效的能力，但單個(gè)磁盤/節(jié)點(diǎn)失效的概率占主導(dǎo)地位。該研究從磁盤陣列或存儲(chǔ)集群的單盤失效問題入手。發(fā)現(xiàn)在一些糾刪碼中，當(dāng)單盤失效時(shí)，存在多條恢復(fù)路徑來恢復(fù)失效盤。不同的恢復(fù)路徑會(huì)

4、造成不同的I/O開銷，因此所選擇的恢復(fù)路徑會(huì)極大地影響整個(gè)存儲(chǔ)系統(tǒng)的性能?；诖爽F(xiàn)象，路徑選擇恢復(fù)策略（簡稱PDRS）被提出。該策略的核心是在X-code和P-code等垂直RAID-6編碼中先計(jì)算得到一條最優(yōu)的恢復(fù)路徑，然后具體執(zhí)行相應(yīng)恢復(fù)過程。該方法的正確性得到驗(yàn)證，同時(shí)給出了具體的實(shí)現(xiàn)算法。在此基礎(chǔ)上，建立理論模型和真實(shí)原型系統(tǒng)來評估性能。理論和實(shí)驗(yàn)結(jié)果都表明，PDRS可以有效的減少I/O開銷和恢復(fù)時(shí)間，從而減少失效窗口和競爭窗口

5、，達(dá)到提高系統(tǒng)可靠性，減少系統(tǒng)降級時(shí)間，提高系統(tǒng)服務(wù)能力的目的。
　　2.本地解碼優(yōu)先策略。在一些基于糾刪碼的分布式系統(tǒng)中，會(huì)遭受并發(fā)性節(jié)點(diǎn)故障帶來的降級讀問題，從而影響系統(tǒng)性能。在傳統(tǒng)的集中式解碼方法中，為了響應(yīng)降級讀請求，會(huì)有大量額外的數(shù)據(jù)在網(wǎng)絡(luò)上傳輸，占用大量的網(wǎng)絡(luò)帶寬，從而極大的影響系統(tǒng)的性能和服務(wù)能力。為了解決這個(gè)問題，本地解碼優(yōu)先策略（簡稱LDF）被提出。該方法的核心是通過挖掘存儲(chǔ)節(jié)點(diǎn)的本地計(jì)算能力，盡量在本地存儲(chǔ)節(jié)點(diǎn)

6、多進(jìn)行計(jì)算，然后只把中間結(jié)果通過網(wǎng)絡(luò)傳輸給解碼節(jié)點(diǎn)，從而顯著減少網(wǎng)絡(luò)傳輸I/O，并進(jìn)一步減少用戶訪問延時(shí)，提高系統(tǒng)吞吐率。該研究建立了數(shù)學(xué)模型來評估并發(fā)性節(jié)點(diǎn)故障下的降級讀概率和降級讀開銷。結(jié)果表明并發(fā)性節(jié)點(diǎn)故障下的降級讀開銷很大并會(huì)造成大量的網(wǎng)絡(luò)傳輸，從而為該研究提供了背景支持。此外還使用理論模型和真實(shí)實(shí)驗(yàn)來衡量LDF策略的有效性，結(jié)果顯示LDF顯著的減少了網(wǎng)絡(luò)傳輸I/O和平均訪問延時(shí)，并顯著的提高了系統(tǒng)吞吐率。
　　3.拆分和

7、并行矩陣算法。該研究從一個(gè)新的角度對糾刪碼進(jìn)行劃分，把糾刪碼劃分為對稱校驗(yàn)編碼和非對稱校驗(yàn)編碼。發(fā)現(xiàn)針對各種不同失效類型設(shè)計(jì)的新型非對稱校驗(yàn)編碼相對于傳統(tǒng)對稱校驗(yàn)編碼有性能和成本優(yōu)勢。但這些新型的非對稱校驗(yàn)編碼仍然采用傳統(tǒng)的校驗(yàn)矩陣方法執(zhí)行編解碼操作。該方法是串行的，且會(huì)產(chǎn)生很高的計(jì)算開銷，從而占用過多的CPU資源并造成低編解碼性能。為了解決這個(gè)問題，拆分和并行矩陣算法（簡稱 PPM）被提出。該算法的核心是通過拆分校驗(yàn)矩陣、并行編解碼操

8、作、同時(shí)優(yōu)化計(jì)算順序，來達(dá)到降低計(jì)算開銷，加速編解碼過程的目標(biāo)。該研究建立了理論模型來分析編解碼操作的計(jì)算開銷，結(jié)果表明PPM算法可以有效的減少編解碼操作的計(jì)算開銷。此外該研究還在真實(shí)系統(tǒng)中測試了PPM算法的性能，實(shí)驗(yàn)結(jié)果表明PPM算法可以顯著地加速編解碼過程。
　　上面提出的這些理論和方法貫穿于糾刪碼存儲(chǔ)系統(tǒng)性能研究的各個(gè)方面。包括磁盤失效重構(gòu)技術(shù)的研究、分布式存儲(chǔ)系統(tǒng)中的降級讀研究和糾刪碼編解碼過程的優(yōu)化研究。此外，為了驗(yàn)證這