基于高斯回歸的連續(xù)空間多智能體強化學習算法研究.pdf

1、本文以多智能體系統(tǒng)為研究對象，研究應用強化學習智能獲取多智能體系統(tǒng)的行為策略，其中關鍵問題主要包括空間泛化與學習降維兩個方面。最初，強化學習理論及其相關定義是以離散環(huán)境為基礎展開討論的，而實際應用環(huán)境的內在連續(xù)性大大地限制了強化學習的適應范圍，使得空間泛化成為提高強化學習的實用性的一個重要步驟。同時，隨著多智能體系統(tǒng)理論研究的進展，強化學習理論也從簡單的單智能體強化學習發(fā)展到復雜的多智能體強化學習。然而，在多智能體系統(tǒng)環(huán)境下，學習和存儲

2、空間將隨著智能體個數(shù)的增加而呈指數(shù)級增長，“維數(shù)災難”問題更加突出，導致學習效率低下，甚至破壞學習的收斂性。
　　本文針對多智能體強化學習中的空間泛化與學習降維兩個關鍵問題進行研究。一方面，通過建立狀態(tài)值函數(shù)模型、狀態(tài)-動作對值函數(shù)模型、策略函數(shù)模型分別實現(xiàn)狀態(tài)空間、動作空間、策略空間的泛化。另一方面提出一種基于聯(lián)合狀態(tài)-個體動作的降維Q函數(shù)定義，實現(xiàn)學習空間與存儲空間的雙重降維，同時采用基于模型的學習方法提高學習效率。
　

3、　首先，根據(jù)強化學習基本定義，結合多智能體系統(tǒng)應用環(huán)境，討論多智能體強化學習的一般框架及其相對應的典型算法。分析多智能體強化學習中泛化與降維這兩個問題的本質，并給出解決問題的總體思路與理論指導。
　　其次，假設已知環(huán)境聯(lián)合獎賞函數(shù)、非學習智能體執(zhí)行靜態(tài)穩(wěn)定策略，在定義降維跟蹤學習值函數(shù)的基礎之上，提出一種基于高斯回歸的連續(xù)空間多智能體跟蹤學習算法。通過高斯回歸方法建立值函數(shù)模型實現(xiàn)空間泛化，采用基于模型的學習方法提高學習效率，并從

4、時間復雜度、空間復雜度兩個方面分析算法性能。
　　再次，為進一步擴展算法的適應性，突破上述假設條件，提出改進型多智能體連續(xù)空間基于模型的跟蹤學習算法。通過觀察環(huán)境對系統(tǒng)的聯(lián)合鑒賞與記錄個體歷史鑒賞，采用一種新型的個體鑒賞函數(shù)迭代逼近方法，獲取智能體個體鑒賞函數(shù)。此外，在線建立實時的行為策略模型，用于改進學習樣本空間的更新方法。
　　然后，在MAS MBRL-CPT算法的基礎上，引入基于分時學習的協(xié)調機制，使得所有智能體均能通