分布式并行文件系統(tǒng)DPFS的SSI技術.pdf

1、本文討論的分布式文件系統(tǒng)DPFS中的單一系統(tǒng)映像SSI技術是實現(xiàn)分布式文件系統(tǒng)DPFS的核心技術,其實現(xiàn)了兩個最主要需求:網(wǎng)絡透明性和高可用性.本文提出獨特的內(nèi)存文件系統(tǒng)機制實現(xiàn)網(wǎng)絡透明性.在系統(tǒng)中每一個節(jié)點上構建一個全局一致的內(nèi)存名字空間,并使得在該名字空間中的名字可以透明的指向分布式并行系統(tǒng)中的資源對象:內(nèi)存名字空間中的名字可以被重定向為分步在不同節(jié)點上的資源的副本(拷貝),上層用戶不知道內(nèi)存名字空間的名字指向系統(tǒng)資源的物理位置,為

2、上層用戶提供透明的文件系統(tǒng)訪問服務.同時,本文在系統(tǒng)中提出以下機制保證了SSI的高可用性:(1)冗余副本機制保證資源高可用性:系統(tǒng)中的資源對象和其副本均衡地分步在系統(tǒng)的不同節(jié)點上.當系統(tǒng)中的部分節(jié)點崩潰時,訪問位于崩潰節(jié)點上的分布式并行系統(tǒng)資源不會被拒絕,系統(tǒng)會根據(jù)活動節(jié)點的資源和負載信息為該訪問重新選擇一個最佳或準最佳的節(jié)點為其服務;(2)日志恢復機制保證容錯:當系統(tǒng)中有節(jié)點失效時,其他和該失效節(jié)點有資源相關性的節(jié)點在數(shù)據(jù)被修改時會記

3、錄日志,在失效節(jié)點重新啟動時,會取得日志并且根據(jù)檢查點進行回滾操作恢復或者拷貝恢復,系統(tǒng)中其他正常服務的節(jié)點不會受到任何影響;(3)一致性消息驅(qū)動機制保證數(shù)據(jù)和信息一致性:當系統(tǒng)中的某一個節(jié)點上數(shù)據(jù)或者信息發(fā)生改變時,該節(jié)點采用消息通知其他節(jié)點修改這些數(shù)據(jù)或者信息,確保系統(tǒng)中所有的相關節(jié)點的數(shù)據(jù)同時被刷新.如果刷新失敗,系統(tǒng)將記錄日志,由日志恢復機制保證數(shù)據(jù)一致.在本文所述的SSI技術的支持下,DPFS具有分布式透明性和高可用性的特點.

4、配合其他的模塊,例如動態(tài)負載平衡調(diào)度模塊,可以實現(xiàn)系統(tǒng)動態(tài)智能故障恢復.分布式透明性和系統(tǒng)動態(tài)智能故障恢復的技術可以解決理論上的兩個難題:系統(tǒng)瓶頸和系統(tǒng)重構,提供高可用性,實現(xiàn)永不停頓的系統(tǒng).本文的安排如下:第二章討論分布式并行文件系統(tǒng)和SSI技術的基本概念、主要需求、關鍵問題和典型系統(tǒng),第三章概要地介紹了DPFS的設計與實現(xiàn).第四章重點討論在DPFS中分布式并行技術和SSI技術是如何結合在一起實現(xiàn)的.第五章討論了實現(xiàn)分布式并行SSI技