超算集成平臺資源監(jiān)控與分配系統(tǒng)的設計和實現.pdf

1、隨著超級計算技術的不斷發(fā)展與日漸成熟，超算集群系統(tǒng)開始大量出現并逐漸成為高性能計算的主流平臺。如何對超算集群的資源進行實時有效地監(jiān)控，進而實現對計算資源更合理地分配已成為超級計算中心所面臨的一個重要問題。一方面，傳統(tǒng)的集群監(jiān)控采用的是telnet方式，此方法雖然實現簡單，但存在執(zhí)行效率低下、延遲嚴重以及資源狀態(tài)可視化差等缺陷。不僅如此，對于監(jiān)控所得到的數據，傳統(tǒng)集群也未能進行有效地利用。另一方面，在目前的超算集群中，資源分配方面通常采用

2、的是先來先服務、Max-min等單一的資源分配策略，這些策略不僅過于簡單，而且尚未利用資源監(jiān)控的資源狀態(tài)數據引導反饋資源的合理分配，造成了資源監(jiān)控與分配的脫節(jié)。這在一定程度上制約了用戶任務執(zhí)行效率的提升，因此本文針對這些問題，設計和實現超算集成平臺的資源監(jiān)控與分配系統(tǒng)。
　　首先，本文針對目前超算集成平臺資源分配方式過于單一、任務執(zhí)行效率不高以及未充分利用資源監(jiān)控系統(tǒng)狀態(tài)數據的問題，提出了一個融合資源監(jiān)控的IWO-ACO(Ant

3、ColonyOptimization based on Invasive Weed Optimization)資源分配策略。IWO-ACO算法依據入侵式雜草算法的“空間散布”機制對蟻群算法的信息素更新規(guī)則進行了改進，使得算法在尋優(yōu)能力和收斂性能上都有了較好的提升；此外還使用了動態(tài)揮發(fā)、濃度控制及動態(tài)均衡等策略，有效地避免了算法的“早熟”現象。然后本文利用IWO-ACO算法和資源監(jiān)控系統(tǒng)監(jiān)測的節(jié)點負載數據，形成一個融合資源監(jiān)控的資源分配策

4、略，并給出了相應的策略過程描述和算法流程。
　　其次，基于提出的融合資源監(jiān)控的IWO-ACO資源分配策略，本文設計并實現了超算集成平臺資源監(jiān)控與分配系統(tǒng)，以彌補傳統(tǒng)集群監(jiān)控延遲嚴重、可視化差等缺陷。系統(tǒng)采用Spring框架的QuartZ任務調度器定時輪詢集群計算節(jié)點的負載情況，然后以熱圖或曲線的形式向用戶實時展示超算集群的資源狀態(tài)，如節(jié)點狀態(tài)、CPU/GPU利用率和內存利用率等。資源監(jiān)控得到的資源狀態(tài)數據為本文的資源分配策略提供了