分布式數據流處理的算子調度與負載平衡研究.pdf

1、數據流處理系統(tǒng)廣泛應用在眾多領域，例如金融管理、網絡監(jiān)視、通信數據管理、Web應用、傳感器網絡數據處理等。隨著計算機網絡、分布式計算技術的迅速發(fā)展，使得實時處理分布在網絡不同結點上的流數據成為可能，于是分布式流處理技術便應運而生。由于流數據源及應用本身存在分布的特點，并且應用規(guī)模不斷擴大，分布式流處理系統(tǒng)成為流數據處理研究的必然趨勢。分布式數據流處理系統(tǒng)的研制在國際上也是剛剛起步，在軍事、網絡、金融等關系到國計民生的領域，將會有越來越廣

2、泛的用途。在分布式流處理系統(tǒng)中，算子調度策略的選取對系統(tǒng)內存的消耗，輸出延遲的長短等系統(tǒng)重要性能指標有很大的影響。我們設計的GM調度策略綜合考慮了將來的負載變化、當前的內存消耗狀況以及用戶對于主要性能指標的偏好與要求，在系統(tǒng)內存最小化和結果輸出延遲方面取得平衡。在GM調度策略中，算子的執(zhí)行順序由一個評分函數統(tǒng)一決定。可以通過設置評分函數的靜態(tài)參數來滿足不同應用場景的需要，也可以自動地調整評分函數的動態(tài)參數來反映系統(tǒng)的工作狀態(tài)。另外，GM

3、調度策略可以保證查詢的優(yōu)先級。由于流處理應用中需要實時處理大量具有相當高的突發(fā)性的數據，系統(tǒng)可能不能及時處理。所以無論是集中式數據流處理系統(tǒng)還是分布式數據流處理系統(tǒng)，負載管理成為研究的熱點與重點。在傳統(tǒng)并行分布式系統(tǒng)領域，對負載管理問題的研究，與數據流的負載管理有許多相似之處，但存在著本質上的區(qū)別。負載平衡研究領域的大量算法可以大致分為靜態(tài)負載平衡和動態(tài)負載平衡兩個方面。對系統(tǒng)負載的準確預測往往是靜態(tài)負載平衡算法的基礎，對于改進動態(tài)負載

4、平衡的效果也很重要。在數據流系統(tǒng)中，對于數據的處理有實時性要求。我們提出以加權時間性能比來評價算法的優(yōu)劣，我們考察了效率很高的一些線性時間序列預測算法，如移動平均法，指數平滑法和GM(1，1)法，并針對流處理的特點作了相應的修改。這些算法在分布式流處理領域具有很好的時間性能比。
　　 本文設計了一種新的大規(guī)模分布式數據流處理系統(tǒng)的體系結構，系統(tǒng)由一組異構的服務器集群組成，負載在每個服務器集群內部多臺同構的服務器之間獲得平衡，從而

5、達到整個系統(tǒng)的負載平衡。集群設計的主要目標之一是以資源換性能，服務器集群中服務器的最大數目足夠保證系統(tǒng)不再發(fā)生過載現(xiàn)象，不再需要會降低性能的卸載技術。而且投入運行的服務器的數目根據實際的系統(tǒng)負載來決定，負載較輕時，一部分服務器可以進入休眠狀態(tài)來減少能源的消耗。在系統(tǒng)靜態(tài)負載平衡方面，我們研究了很多相應的啟發(fā)式方法，并在此基礎上提出了一種高效率、高性能的靜態(tài)平衡算法。首先根據一個初始化策略把任務分配到機器上，每臺機器的任務數目、負載大致相