面向應用的加速器增強型異構系統(tǒng)大規(guī)模并行計算關鍵技術研究.pdf

1、大規(guī)模科學與工程計算已經(jīng)成為當前科學研究不可或缺的重要手段，極大地推動了科技的發(fā)展和人類的進步。當前超級計算機已經(jīng)進入千萬億次（Peta-scale）浮點計算能力的時代，但諸如高能核物理、材料化學、生命科學等一系列挑戰(zhàn)性計算應用表現(xiàn)出對百億億次級（Exascale）計算能力的超高需求。由于GPU、MIC等加速器的性能功耗比優(yōu)勢，基于加速器搭建異構超級計算機已經(jīng)成為高性能計算領域從P級到E級發(fā)展的重要趨勢，如基于NVIDIA GPU加速器

2、的天河-1A，和基于Intel新型MIC加速器的天河-2。領域應用軟件是發(fā)揮E級計算系統(tǒng)能力的保障。然而，異構體系結構在緩解通信墻、可靠性墻和能耗墻的同時，加劇了編程墻。因此，如何快速地開發(fā)大規(guī)模并行應用程序，高效率地發(fā)揮當前高性能異構系統(tǒng)的性能，已經(jīng)成為當前異構并行計算研究面臨的一個挑戰(zhàn)性問題。我國自主研發(fā)高性能超級計算機系統(tǒng)的能力已達到國際頂尖水平，然而與其不相匹配的是，我國的高性能計算應用軟件開發(fā)的水平還遠遠落后于國際先進水平。<

3、br>　　本研究主要內(nèi)容包括：⑴當前貝葉斯分析進化樹應用軟件都不能同時完全利用異構超級計算機中的CPU和GPU，造成了極大的計算資源浪費。面向CPU-GPU異構陣列，提出了對貝葉斯進化分析的一種新穎混合并行算法oMC3，使用MPI+OpenMP+CUDA的混合并行編程模型，提出一個簡單高效的負載劃分策略，能夠同時高效地利用異構系統(tǒng)中的CPU多核和GPU來協(xié)同計算?；谔旌?1A的實驗測試展示了oMC3對性能的改進和良好的擴展性，驗證了負

4、載劃分策略。這是首次貝葉斯分析進化樹應用擴展到數(shù)千CPU核和數(shù)百GPU并實現(xiàn)了高效的CPU-GPU同時計算。工作同時也具有通用價值，因為它討論了混合編程技術，可以指導異構系統(tǒng)上其他應用的混合并行編程以及異構協(xié)同計算。⑵當前缺乏基于大規(guī)模GPU陣列的組織級心電模擬設計實現(xiàn)和性能研究，基于GPU異構系統(tǒng)，提出了心電模擬中多種細胞模型和數(shù)值解法的大規(guī)模并行設計和實現(xiàn)方案，并完成了大規(guī)模性能量化分析和建模。心電模擬的多節(jié)點映射方案整體上通過數(shù)據(jù)

5、網(wǎng)格的層次化域分解來并行計算任務。上層用MPI多進程開發(fā)節(jié)點間并行性，下層用CUDA多線程開發(fā)GPU眾核并行性。數(shù)值求解的GPU kernel實現(xiàn)考慮了GPU眾核并行度的線程粒度設計，以及局域性的GPU層次存儲訪問設計。實驗在天河-1A上使用多達128個GPU，測試并詳細量化分析了三種不同的模型和解法搭配的實現(xiàn)性能。本文研究首次給出了一個在超過100GPU的大規(guī)模GPU陣列上完成的心電模擬的性能真實預期。⑶由于巨大的計算需求，當前缺乏納

6、米精度的心臟亞細胞級鈣動力學數(shù)值模擬?；谛滦虲PU-MIC異構系統(tǒng)，提出了接近納米精度的亞細胞級鈣動力學數(shù)值模擬的一種并行設計與實現(xiàn)方案，并在天河-2上獲得了真實的模擬結果。聯(lián)合使用向量化，層次化cache數(shù)據(jù)分塊，寄存器重用等優(yōu)化手段來克服編程新型MIC體系結構的挑戰(zhàn)。并行設計有效開發(fā)了單MIC、單節(jié)點、多節(jié)點的層次化并行。在天河-2上的實驗使用多達4096個計算節(jié)點（12288個MIC協(xié)處理器）獲得了1.27 Pflop/s的雙精

7、度性能，同時展現(xiàn)了良好的強/弱擴展性。實際獲得并分析了一個心肌纖維節(jié)在3nm精度長達24ms的模擬結果，使得納米級精度的模擬更加接近為生物醫(yī)學領域提供了研究依據(jù)。在3nm精度上提出了亞細胞鈣波動產(chǎn)生和傳播模型并獲得和分析了模擬結果。⑷針對在異構陣列中節(jié)點內(nèi)多MIC和host的高效協(xié)同計算問題，提出了一種基于節(jié)點內(nèi)多MIC異構陣列，面向Stencil結構化網(wǎng)格計算類應用的并行編程框架MOCS。其包括一個混合并行編程模型的框架抽象、負載劃分

8、及流水線式通信優(yōu)化策略、以及具體的編程實現(xiàn)步驟。其基于Intel MIC軟件棧中的兩種底層API：COI+SCIF，混合使用MPI+OpenMP+COI+SCIF編程，并通過合理負載劃分，節(jié)點內(nèi)和節(jié)點間通信優(yōu)化，實現(xiàn)混合多層次并行計算。實驗以一個真實3維7點stencil計算網(wǎng)格應用作為例子，按照此框架實現(xiàn)并在天河-2上進行了測試。結果表明，MOCS能較好地解決節(jié)點內(nèi)多MIC陣列的多層次并行，通信隱藏以及CPU-MIC協(xié)同計算問題。給出