遞歸神經(jīng)網(wǎng)絡(luò)的研究及在非線性動態(tài)系統(tǒng)辨識中的應用.pdf

1、非線性動態(tài)系統(tǒng)的辨識一直是控制領(lǐng)域研究的難點和熱點。傳統(tǒng)的多層前向神經(jīng)網(wǎng)絡(luò)屬于靜態(tài)網(wǎng)絡(luò)，在非線性動態(tài)系統(tǒng)的應用中存在很多問題。而遞歸神經(jīng)網(wǎng)絡(luò)由于其反饋特征，能夠獲取系統(tǒng)的動態(tài)相應特征，更適合于非線性動態(tài)系統(tǒng)的辨識。并且在辨識中，不需事先選擇模型階次，簡化了辨識過程。因此，遞歸神經(jīng)網(wǎng)絡(luò)是控制系統(tǒng)辨識中最具發(fā)展?jié)摿Φ木W(wǎng)絡(luò)。近年來引起人們的廣泛關(guān)注。 遞歸神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)有許多種，由于結(jié)構(gòu)上的不同，必然導致輸入/輸出關(guān)系的相異，因而表現(xiàn)

2、出不同的動態(tài)變化性能。本文對遞歸神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)作出了總結(jié)。將遞歸動態(tài)網(wǎng)絡(luò)分為三大類：全局反饋遞歸網(wǎng)絡(luò)、前向遞歸網(wǎng)絡(luò)和混合型遞歸網(wǎng)絡(luò)。每一類網(wǎng)絡(luò)又可分為若干種網(wǎng)絡(luò)。給出了每種網(wǎng)絡(luò)描述網(wǎng)絡(luò)特性的結(jié)構(gòu)圖，同時還對多種網(wǎng)絡(luò)進行了功能對比，分析了各種網(wǎng)絡(luò)的異同。 在神經(jīng)網(wǎng)絡(luò)的發(fā)展進程中，學習算法的研究一直是神經(jīng)網(wǎng)絡(luò)研究的核心。而遞歸神經(jīng)網(wǎng)絡(luò)的學習算法一直沿用以誤差反傳為基礎(chǔ)的學習算法，它具有明顯的反向傳播的缺陷：收斂速度慢，容易陷入局部極

3、小。本文介紹了目前國內(nèi)外提出的兩種遞歸神經(jīng)網(wǎng)絡(luò)學習算法——基于遞推最小二乘(RLS)算法的遞歸神經(jīng)網(wǎng)絡(luò)學習算法、基于遞推預報誤差(RPE)算法的遞歸神經(jīng)網(wǎng)絡(luò)學習算法。 以誤差-修正學習為基礎(chǔ)，尋找目標函數(shù)的極小值的過程是尋優(yōu)的過程。最優(yōu)化算法可分為兩大類：確定類算法和隨機類算法。本文從這兩類最優(yōu)算法出發(fā)，提出了兩類新的遞歸神經(jīng)網(wǎng)絡(luò)學習算法。 第一類算法將標準數(shù)值優(yōu)化技術(shù)中Levenberg-Marquardt(LM)算法

4、引入到遞歸神經(jīng)網(wǎng)絡(luò)的權(quán)值學習中來，提出了遞歸神經(jīng)網(wǎng)絡(luò)的LM學習算法。這種算法提供了牛頓法的速度與保證收斂的最速下降法之間的一個折衷。進一步地，為了克服遞歸神經(jīng)網(wǎng)絡(luò)的LM算法集中運算的不足，提出了并行LM算法。它將計算分配到神經(jīng)網(wǎng)絡(luò)中的每個神經(jīng)元，突出了神經(jīng)網(wǎng)絡(luò)并行處理信息的能力，提高了收斂速度與精度。 第二類算法以一種基于模擬退火思想的隨機搜索算法--Alopex算法為基礎(chǔ)，提出了遞歸神經(jīng)網(wǎng)絡(luò)的改進Alopex算法。這種算法克服