面向視頻云存儲的HDFS負(fù)載均衡工具設(shè)計與實(shí)現(xiàn).pdf

1、在線視頻服務(wù)是互聯(lián)網(wǎng)服務(wù)的重要組成部分，存儲是提供在線視頻服務(wù)的基礎(chǔ)。HDFS（Hadoop Distributed File System）作為面向通用文件存儲的云存儲系統(tǒng)，被很多視頻服務(wù)網(wǎng)站使用，但其負(fù)載均衡工具未考慮利用視頻文件在線播放時的帶寬消耗特性來使集群的帶寬資源得到更充分的利用。
　　為解決原有負(fù)載評估模型沒有考慮帶寬資源的問題，論文提出基于帶寬消耗預(yù)估的負(fù)載評估模型。通過對各個視頻文件的碼率、數(shù)據(jù)塊大小和訪問熱度等

2、特性的分析對各個數(shù)據(jù)節(jié)點(diǎn)支持在線視頻播放系統(tǒng)時實(shí)際消耗的帶寬量進(jìn)行預(yù)估，以此作為數(shù)據(jù)節(jié)點(diǎn)負(fù)載評估模型中帶寬消耗特性的評估標(biāo)準(zhǔn)，模擬實(shí)驗(yàn)表明該負(fù)載評估模型能夠更準(zhǔn)確地對數(shù)據(jù)節(jié)點(diǎn)的帶寬消耗特性進(jìn)行評估。
　　為解決負(fù)載均衡方案生成過程中負(fù)載評估指標(biāo)由一維上升到二維時數(shù)據(jù)節(jié)點(diǎn)配對不合理的問題，論文提出基于對稱匹配的負(fù)載均衡方案生成方法。論文分析并提出了二維負(fù)載評估指標(biāo)情況下的負(fù)載均衡目標(biāo)，通過對過載、正常和低載數(shù)據(jù)節(jié)點(diǎn)中數(shù)據(jù)塊組成情況的

3、分析提出了二維情況下的對稱匹配準(zhǔn)則，設(shè)計了二維情況下數(shù)據(jù)節(jié)點(diǎn)進(jìn)行配對的方法和數(shù)據(jù)移動任務(wù)生成的方法，模擬實(shí)驗(yàn)表明該負(fù)載均衡方案生成方法能夠更有效地完成負(fù)載均衡目標(biāo)中與帶寬相關(guān)的部分。
　　為避免負(fù)載調(diào)度過程中發(fā)生高帶寬消耗數(shù)據(jù)塊聚集的情況，論文提出基于條件選擇的負(fù)載調(diào)度方法。通過對數(shù)據(jù)移動任務(wù)對應(yīng)的需要被移動的數(shù)據(jù)塊的大小和帶寬消耗估計值的整體特性的分析，提出了按照預(yù)設(shè)條件交替進(jìn)行數(shù)據(jù)塊的隨機(jī)性選擇和確定性選擇的負(fù)載調(diào)度方法，模擬