有關(guān)強化學習的若干問題研究.pdf

1、強化學習是機器學習領(lǐng)域中的一個重要研究方向。強化學習系統(tǒng)通過對環(huán)境反復試探的方式，學習環(huán)境狀態(tài)到可執(zhí)行動作的最優(yōu)反應式映射策略，以獲取最大回報。相比于其它學習技術(shù)，強化學習的顯著優(yōu)勢在于它對先驗知識的完備程度幾乎沒有要求，甚至在環(huán)境信息完全未知的情況下，強化學習仍具有較好的自適應性和魯棒性。 現(xiàn)實世界中，大多數(shù)的學習問題都具有狀態(tài)空間或動作空間連續(xù)、任務描述難、目標性能不唯一的特點，且對學習算法的實時性和自適應能力有較高的要求。

2、因此，為了拓展強化學習的應用范圍，本文在如何提高學習速度和學習效率、如何進行合理的任務描述以及如何考慮多個性能指標的問題上，對強化學習進行了較系統(tǒng)的研究。 系統(tǒng)地介紹了一種經(jīng)典強化學習算法--Q學習算法的基本原理、主要步驟和存在的問題，并研究了它與其它幾種常用機器學習技術(shù)的組合。 研究了強化學習方法中的經(jīng)驗存儲和利用問題。在分析了已有的幾種有效的、相對獨立的經(jīng)驗存儲和利用方法的基礎上，研究了一種將它們有機結(jié)合在一起的強化

3、學習算法，并根據(jù)學習狀態(tài)對時間的變化特性，對這種結(jié)合算法進行了改進，以提高學習經(jīng)驗的利用率，從而提高了算法的學習性能。 研究了強化學習中的狀態(tài)空間壓縮技術(shù)。分別針對離散化的狀態(tài)空間和連續(xù)狀態(tài)空間的壓縮問題，提出了基于信息熵的強化學習算法和基于自主生成神經(jīng)網(wǎng)絡函數(shù)逼近器的強化學習算法。前者利用對狀態(tài)與目標之間的相關(guān)程度的度量，可以進一步壓縮離散化的狀態(tài)空間；后者利用進化算法的全局搜索能力來得到合適的函數(shù)逼近器結(jié)構(gòu)和參數(shù)，可以減輕對