基于在線重復數(shù)據(jù)刪除技術的Openstack鏡像管理系統(tǒng)的設計與實現(xiàn).pdf

1、信息化高度發(fā)展的今天，人們對數(shù)據(jù)的依賴越來越大，信息技術已經(jīng)從以計算為中心轉化為以數(shù)據(jù)為中心。2011年2月，IDC發(fā)布了最新的《企業(yè)級外部存儲市場季度跟蹤報告》，報告指出到2020年全球產生的信息總量將達到35ZB（1ZB=1000EB=100萬PB=10億TB），而2010年這一數(shù)字卻僅為1.2ZB。數(shù)據(jù)的爆炸性增長，也引起業(yè)界和學術界越來越大的關注。爆炸性增長的數(shù)據(jù)中，充斥著大量重復的數(shù)據(jù)。重復數(shù)據(jù)刪除技術便成為數(shù)據(jù)存儲領域中一個

2、重要的研究熱點。根據(jù)數(shù)據(jù)集的不同，重復數(shù)據(jù)刪除技術可以將存儲壓縮為原來的1\8-1\500，被廣泛應用于數(shù)據(jù)備份領域。
　　云計算將虛擬化的資源通過互聯(lián)網(wǎng)以服務的形式提供。其中IaaS服務層通過虛擬機向外提供服務，虛擬機配置和安裝內容的區(qū)別導致虛擬機鏡像數(shù)量龐大。本文在閱讀國內外文獻基礎上，研究了重復數(shù)據(jù)刪除的關鍵技術和鏡像重刪的特點。針對開源云平臺Openstack鏡像管理系統(tǒng)在鏡像存儲和鏡像傳輸中的不足，設計并實現(xiàn)了基于在線重

3、復數(shù)據(jù)刪除技術的Openstack鏡像管理系統(tǒng)。本文的主要工作總結如下：
　?。?）研究了重復數(shù)據(jù)刪技術和云計算。其中，對文件切塊方式和內存指紋索引技術作了深入研究，主要關注兩個問題：文件格式和切分方式的聯(lián)系與內存指紋索引技術，其中包括稀疏矩陣索引和布隆過濾器。
　?。?）設計并實現(xiàn)基于在線重復數(shù)據(jù)刪除技術的Openstack鏡像管理系統(tǒng)IM-Dedup system。該系統(tǒng)利用靜態(tài)分塊技術進行文件分成若干數(shù)據(jù)塊，使用指紋預

4、傳輸技術避免重復數(shù)據(jù)塊的網(wǎng)絡傳輸，在鏡像存儲端部署帶重復數(shù)據(jù)刪除功能的核心態(tài)文件系統(tǒng)以減少存儲空間，使用內存過濾器減少磁盤索引次數(shù)，指紋存儲區(qū)的集中可以提高數(shù)據(jù)讀取的局部性，使用有限的內存占用率達到了較高的IO吞吐率。其創(chuàng)新點在于，提出了一種雙重的在線重復數(shù)據(jù)刪除方法，并且實現(xiàn)了雙重在線重復數(shù)據(jù)刪除鏡像管理系統(tǒng)，不僅在鏡像傳輸上使用了重復數(shù)據(jù)刪除技術，在鏡像存儲環(huán)節(jié)也使用重復數(shù)據(jù)刪除技術，達到存儲使用量和帶寬消耗同時減小的目的。

5、　?。?）搭建實驗平臺，并對IM-dedup鏡像管理系統(tǒng)進行實驗評測。對其重復數(shù)據(jù)刪除率，鏡像上傳時耗，鏡像恢復時耗進行實驗，并與原有系統(tǒng)進行對比。此外，本文參照亞馬遜S3存儲平臺的計費模型，對IM-Dedup鏡像管理系統(tǒng)的花銷作定量分析，并與原有的鏡像管理系統(tǒng)作對比，進一步顯示了IM-Dedup鏡像管理系統(tǒng)優(yōu)越的經(jīng)濟性。
　?。?）對在研究與開發(fā)IM-dedup鏡像管理系統(tǒng)上所做的主要工作和貢獻進行了總結，并提出了對IM-ded