模糊神經網絡與支持向量機若干問題研究.pdf

1、神經網絡(Neural Network,NN)和支持向量機(Support Vector Machine,SVM)是當前機器學習的重要的研究領域,是智能信息處理和機器學習研究領域的重要組成部分,在模式識別和回歸估計領域得到廣泛的應用。目前,國內外學者對神經網絡、統(tǒng)計學習理論及支持向量機方法的討論和研究非?；钴S。在神經網絡、支持向量機的理論研究以及融入模糊邏輯的智能信息處理方法的研究發(fā)展很快。但是,在理論方法以及實際應用中還存在許多有待研

2、究的新問題,如異常數據檢測、提高學習速度、提升推廣性能、模型選擇、增強學習過程的健壯性等。
　　 本文在前人研究成果及前期工作基礎上,對模糊反向傳播(Fuzzy BackPropagation,FBP)學習算法、大規(guī)模訓練樣本集的ε-支持向量回歸(ε-SupportVector Regression,ε-SVR)方法、支持向量回歸中異常數據剔除方法以及基于后驗概率加權隸屬度的模糊支持向量機(Fuzzy Support Vecto

3、r Machine,FSVM)等若干問題進行了較系統(tǒng)的研究,旨在豐富和發(fā)展模糊神經網絡和支持向量機的理論和應用研究。主要成果如下:
　　 (1)證明了基于極大-極小模糊算子與S.Stoeva提出的基于神經元輸入指標集冪集的模糊神經網絡正向計算過程的等價性,進而研究了基于極大-極小模糊算子的網絡權值修正方法,提出了改進的FBP學習算法。該算法通過每個神經元的輸出與相應輸入權值的比較進行權值修正,克服了一般的FBP在權值修正上僅依據

4、網絡輸出與所有連接權值進行比較的不足,使權值修正更加精確,網絡學習更加穩(wěn)定。通過在汽輪發(fā)電機組狀態(tài)監(jiān)測中的應用表明提出的算法是有效的。
　　 (2)為克服已有搜索算法在求解ε-SVR時存在選擇樣本開銷大、效率不高以及收斂約束檢測代價大的缺陷,研究了ε-SVR支持向量分布的特性。根據分布特性確定潛在支持向量區(qū)域以縮減搜索樣本規(guī)模,進而提出了大規(guī)模訓練樣本集的ε-SVR改進逐步搜索算法。即從大規(guī)模訓練樣本集中抽取的小樣本集的ε-SV

5、R超平面出發(fā),計算大訓練樣本集中樣本點距這個近似的超平面的距離d,剔除大訓練樣本集中在ε≤d≤dmax外的訓練樣本點,然后逐步搜索支持向量,建立大訓練樣本集的ε-SVR。在對ε-SVR改進搜索算法的有效性分析中,發(fā)現ε-SVR的解稀疏性對算法時間復雜度有較大的影響。為了確保算法有效性,將支持向量稀疏過程引入搜索算法,以較低的精度損失代價換取算法的高效,進一步提出了大規(guī)模訓練樣本集的ε-SVR稀疏搜索算法。
　　 利用給定已知函數

6、生成樣本數據進行仿真實驗,結果表明本文所提ε-SVR改進逐步搜索算法和ε-SVR稀疏搜索算法用SMO或Matlab工具箱求解ε-SVR的速度比改進前要快3.9倍,并且隨ε的值和樣本數增加算法計算效率增高。因此,研究獲得的新的ε-SVR算法可用于解決大規(guī)模樣本回歸問題。
　　 (3)在研究回歸問題中理論映射模式與回歸估計模式兩者關系的基礎上,定義了回歸問題中異常數據及其不滿足回歸映射關系差異程度的度量,給出并證明了回歸問題中異常數

7、據的若干性質,進而提出回歸問題中剔除異常數據的逐步逼近定理。然后,提出了以逐步逼近定理為理論依據支持向量回歸中異常數據的剔除算法,并在理論上分析了其收斂性和有效性。
　　 針對大規(guī)模樣本的支持向量回歸中異常數據剔除問題,引入逐步搜索算法對支持向量回歸中異常數據的剔除算法進行改進,提出了基于大規(guī)模樣本集的支持向量回歸異常數據剔除算法。理論分析顯示改進算法也是收斂的和有效的。
　　 利用給定已知函數生成樣本和UCI機器學習數

8、據庫樣本數據進行仿真實驗,結果顯示有較高的異常數據剔除精度,提高了最終SVR模型精度。
　　 (4)為減小異常點及噪聲數據對分類超平面的影響,研究了模糊支持向量機中樣本隸屬度函數的構造方法。借鑒貝葉斯決策理論和樣本密度的思想,依據不同性質樣本點在樣本集中的相對位置分布,引入樣本點的后驗概率和樣本點密度,提出了基于后驗概率加權的隸屬度函數構造方法,進而構建基于后驗概率加權隸屬度的FSVM。
　　 利用雙螺旋線和UCI機器學