具有數(shù)據(jù)依賴的對等高性能計算關鍵技術研究.pdf

1、對等高性能計算系統(tǒng)為解決在任務級并行的計算密集型對等高性能應用所提供的潛在計算能力能夠超過以往任何計算系統(tǒng)，因而受到越來越多的關注。然而，現(xiàn)有的典型對等高性能計算系統(tǒng)由于不支持具有數(shù)據(jù)依賴關系的對等高性能應用而受到限制。因此，有必要研究新的對等高性能計算技術，使對等高性能計算系統(tǒng)支持具有數(shù)據(jù)依賴關系的應用，從而達到推廣對等高性能計算系統(tǒng)的目的。 為了支持任務間具有數(shù)據(jù)依賴關系的對等高性能應用，重點研究對等高性能計算中的計算資源管理

2、策略、任務調(diào)度機制和編程模型這三種關鍵技術；基于這些技術提出對等高性能計算系統(tǒng)P2HP-2（A Peer-to-peer based High performance computing Platform-Ⅱ），并結(jié)合一個運行實例，對系統(tǒng)的總體性能進行綜合評價。 根據(jù)具有數(shù)據(jù)依賴關系的任務對資源分配的要求，通過對等網(wǎng)絡Gtapestry管理對等高性能計算資源。Gtapestry是一個基于無結(jié)構(gòu)工作組的結(jié)構(gòu)化對等網(wǎng)絡，從兩方面考

3、慮網(wǎng)絡匹配要求：其一是對象分派與區(qū)域網(wǎng)絡構(gòu)造之間的匹配，其二是虛擬網(wǎng)絡和物理網(wǎng)絡之間的鄰近匹配。為了提高路由效率，Gtapestry采用一個對象指針備份機制，即在任務的發(fā)布路徑上備份任務對象地址，若在路由過程中遇到目標對象的備份地址，則根據(jù)該地址直接重定向到對象的實際寄存節(jié)點。 為了對具有數(shù)據(jù)依賴關系的應用進行調(diào)度，提出了一種協(xié)商協(xié)同任務調(diào)度策略，它根據(jù)任務間的數(shù)據(jù)依賴關系和計算資源的局部鄰居表，通過局部協(xié)商的方式對依賴任務進行分

4、派和調(diào)度。其中，依賴任務的分派通過協(xié)商機制完成，即節(jié)點將當前任務的依賴任務賦予優(yōu)先級，并在與它的鄰居節(jié)點進行協(xié)商后，將依賴任務分派給其中的一個鄰居節(jié)點。任務的運行通過協(xié)同調(diào)度機制完成，即在設置好任務運行所需的程序、參數(shù)和依賴數(shù)據(jù)后，運行時系統(tǒng)對任務進行非搶占式單任務調(diào)度。同時，各個計算節(jié)點根據(jù)當前的任務負載，通過局部協(xié)商方式動態(tài)調(diào)整任務的分配，從而實現(xiàn)動態(tài)負載平衡。 為了對具有數(shù)據(jù)依賴關系的應用進行并行化編程，以任務與運行時系統(tǒng)的

5、交互模型為基礎，研究了一種單邊消息通信編程模型OMP（One-sided Message Passing programming model），它由通信庫和軟件開發(fā)包組成。通信庫提供了一種單邊消息通信機制，并在此基礎上實現(xiàn)了軟件開發(fā)包；應用程序員利用開發(fā)包提供的應用編程接口（API，Application Programming Interface），可以通過模塊分割的方式對串行程序進行分布式改造?；诰幊棠Ｐ蚈MP，依賴任務可以利用它

6、所提供的應用編程接口，在應用級主動發(fā)起數(shù)據(jù)請求，進而結(jié)合Gtapestry的節(jié)點通信機制和協(xié)商協(xié)同任務調(diào)度策略，滿足任務對依賴數(shù)據(jù)的請求。 為了驗證基于Gtapestry的計算資源管理策略、協(xié)商協(xié)同任務調(diào)度機制和單邊消息通信編程模型這三種對等高性能計算技術能夠支持具有數(shù)據(jù)依賴關系的應用，利用它們實現(xiàn)了對等高性能計算系統(tǒng)P2HP-2，并針對蛋白質(zhì)折疊應用，提出并實現(xiàn)了具有靜態(tài)樹狀任務依賴關系的1-level-core并行Thread

7、ing算法，依據(jù)該并行算法對系統(tǒng)進行測試和綜合性能分析。 與結(jié)構(gòu)化對等網(wǎng)絡Tapestry相比，Gtapestry更加穩(wěn)定，且路由效率更高，而動態(tài)維護開銷更少，通過理論分析和實驗，表明基于Gtapestry的計算資源管理策略能夠滿足依賴任務之間的通信需求，并且通信延遲較?。徊⑶覅f(xié)商協(xié)同任務調(diào)度機制能夠?qū)哂袛?shù)據(jù)依賴關系的應用進行調(diào)度，它能夠自適應于動態(tài)計算環(huán)境。最后，綜合性能分析驗證了基于Gtapestry的計算資源管理策略、協(xié)