畢業(yè)設計論文---人工神經(jīng)網(wǎng)絡

1、<p><b>　　目 錄</b></p><p><b>　　目錄1</b></p><p><b>　　第一章緒論3</b></p><p>　　第二章神經(jīng)網(wǎng)絡4</p><p>　　2.1神經(jīng)網(wǎng)絡的發(fā)展和應用4</p><p&

2、gt;　　2.1.1神經(jīng)網(wǎng)絡的產(chǎn)生4</p><p>　　2.1.2神經(jīng)網(wǎng)絡的發(fā)展5</p><p>　　2.1.3神經(jīng)網(wǎng)絡的應用6</p><p>　　2.2人工神經(jīng)網(wǎng)絡實現(xiàn)原理7</p><p>　　2.2.1 人工神經(jīng)元7</p><p>　　2.2.2人工神經(jīng)網(wǎng)絡的基本原理及構成8</p>

3、;<p>　　2.2.3幾種典型的神經(jīng)網(wǎng)絡簡介8</p><p>　　2.3神經(jīng)網(wǎng)絡的相關知識10</p><p>　　2.3.1人工神經(jīng)網(wǎng)絡的基本特征10</p><p>　　2.3.2神經(jīng)網(wǎng)絡的學習方式11</p><p>　　2.3.3人工神經(jīng)網(wǎng)絡的實現(xiàn)及應用舉例12</p><p>　　

4、2.3.4人工神經(jīng)網(wǎng)絡的發(fā)展前景13</p><p>　　第三章 BP網(wǎng)絡14</p><p>　　3.1 BP 算法14</p><p>　　3.1.1 BP算法的主要思想14</p><p>　　3.1.2 BP算法的組成14</p><p>　　3.1.3 BP網(wǎng)絡的一般學習算法15</p&g

5、t;<p>　　3.2 BP學習算法的局限性與對策17</p><p>　　3.2.1 BP學習算法存在的局限性17</p><p>　　3.2.2克服BP學習算法的對策18</p><p>　　3.3對BP算法的改進21</p><p>　　3.3.1改進誤差函數(shù)21</p><p>　　3.

6、3.2改進激勵函數(shù)22</p><p>　　3.3.3改進優(yōu)化算法23</p><p>　　第四章 手寫數(shù)字識別24</p><p>　　4.1 模式識別24</p><p>　　4.1.1模式和模式識別的概念24</p><p>　　4.1.2模式識別系統(tǒng)的構成25</p><p>

7、;　　4.2手寫體數(shù)字識別26</p><p>　　4.2.1課題概述26</p><p>　　4.2.2手寫體數(shù)字識別的主要方法27</p><p>　　4.2.3手寫數(shù)字識別的一般方法及其難點29</p><p>　　4.2.4聯(lián)機字符識別原理30</p><p>　　4.2.5預處理及模板的建立31&

8、lt;/p><p>　　4.2.6樣本集對識別結果的影響33</p><p>　　4.2.7程序實現(xiàn)36</p><p>　　第五章軟件開發(fā)環(huán)境39</p><p>　　5.1 軟件開發(fā)平臺39</p><p>　　5.2Visual C++的組成39</p><p>　　5.3Visu

9、al C++的特點40</p><p><b>　　致謝43</b></p><p><b>　　參考文獻44</b></p><p><b>　　第一章 緒論</b></p><p>　　二十多年來，人們在數(shù)字識別領域做了大量的研究工作，所提出的各種方法在印刷體和手寫

10、印刷體數(shù)字識別方面已經(jīng)取得了較好的成績，識別率穩(wěn)定在96%左右。但是自由手寫體數(shù)字的識別工作目前尚處于探索性階段，仍舊是文字識別中最有挑戰(zhàn)性的課題之一。</p><p>　　字符識別長期以來都是采用傳統(tǒng)的識別方法，對印刷體字符的識別率一般只是穩(wěn)定在96％左右，不能進一步提高；而對手寫體字符的識別，其研究還處于探索階段，其識別率還相當?shù)?，因此，為了提高識別率，就必須尋求新的方法和途徑。</p><

11、;p>　　揭示與模擬人腦神經(jīng)系統(tǒng)機理是研制新一代智能計算機的關鍵之一。進入九十年代以來，人工神經(jīng)網(wǎng)絡（ANN）技術發(fā)展十分迅速，它具有模擬人類部分形象思維的能力，是一種模仿人腦學習、記憶、推理等認知功能的新方法。特別是它的信息并行分布式處理能力和自學習功能等顯著優(yōu)點，更是激起了人們對它的極大的興趣。為模式識別開辟了新的途徑，成了模擬人工智能的一種重要方法。</p><p>　　人工神經(jīng)網(wǎng)絡是由一些類似人腦神

12、經(jīng)元的簡單處理單元相互連接而成的復雜網(wǎng)絡。已涌現(xiàn)出許多不同類型的ANN及相應的學習算法，其中BP（或EBP-Error Back Propagation）網(wǎng)絡及學習算法得到了廣泛關注和研究，并在模式識別與分類、機器人控制、數(shù)據(jù)壓縮等領域取得了許多有意義的應用成果。</p><p>　　在認真地研究了精神網(wǎng)絡的基本原理和機制的基礎上，結合手寫體數(shù)字識別這一具體課題，提出了用精神網(wǎng)絡方法來實現(xiàn)手寫體數(shù)字識別的方案。在

13、自由手寫體數(shù)字識別方面，許多研究工作者使用ANN 技術做了不少嘗試，有了較大的進展。</p><p><b>　　第二章神經(jīng)網(wǎng)絡</b></p><p>　　2.1神經(jīng)網(wǎng)絡的發(fā)展和應用</p><p>　　2.1.1神經(jīng)網(wǎng)絡的產(chǎn)生</p><p>　　現(xiàn)代計算機有著很強的計算和信息處理能力，但是它解決像模式識別、感知、

14、評判和決策等復雜問題的能力卻遠不如人，特別是它只能按人事先編好的程序機械地執(zhí)行。人是地球上具有最高智慧的生物，人腦在處理語言理解、模式識別等方面問題時具有現(xiàn)有計算機無法比擬的優(yōu)越性。長期以來，很多科學家一直在致力于人腦的內(nèi)部結構和功能的探討和研究，并試圖建立模仿人類大腦的計算機。</p><p>　　人的大腦可以在幾秒內(nèi)判斷出人在一個動態(tài)的十字路口是否應該過馬路，而若要計算機來做這個工作，其計算量大到幾乎不可能做

15、到。一個三歲小孩可以輕而易舉地從一堆照片中找出自己的父母親來，而若要計算機來完成這個任務，其計算量同樣大的驚人。人腦具有的自組織功能、聯(lián)想功能及容錯性都是計算機所不具備的。</p><p>　　盡管目前人們對大腦神經(jīng)網(wǎng)絡的結構、運行機制，甚至單個神經(jīng)細胞的工作原理的細節(jié)了解還比較膚淺，但人們可以根據(jù)選擇已有的大腦微觀組成（神經(jīng)元）及大腦的宏觀功能兩方面的知識來構造人工精神網(wǎng)絡系統(tǒng)，模擬大腦的某些功能。這正如人類在

16、模擬鳥的飛行過程中造出了飛機一樣，產(chǎn)生了以模仿人腦功能為目的，涉及到生物、生理、控制論、數(shù)學及光電子信息等科學的綜合科學——人工精神網(wǎng)絡。</p><p>　　人工神經(jīng)網(wǎng)絡（Artificial Neural Networks，簡稱NN或ANN），是一門發(fā)展十分迅速的交叉學科，它涉及到生物、計算機、數(shù)學、電子、物理、心理學、認知科學等許多學科。簡單來說就是為模仿人腦工作方式而設計一種機器，它可用電子或光電元件實現(xiàn)

17、，也可以用軟件在常規(guī)計算機上仿真，具有通過學習獲取知識并解決問題的能力。</p><p>　　2.1.2神經(jīng)網(wǎng)絡的發(fā)展</p><p>　　對人工神經(jīng)網(wǎng)絡的研究早在40年代就已開始，1943年，心理學家麥卡洛克（W.S.McCulloch）和數(shù)學家皮茨（W.Pitts）根據(jù)動物神經(jīng)元的生理特點，合作提出了神經(jīng)元的數(shù)學模型，稱為MP模型，如圖1－1所示。開創(chuàng)了從信息處理的觀點出發(fā)，采用數(shù)理模

18、型的方法對神經(jīng)網(wǎng)絡進行研究的先例。但是在此之后的一個長時期內(nèi)馮·諾依曼計算機取得了突飛猛進的發(fā)展，而神經(jīng)網(wǎng)絡的研究卻沒有取得長足進展。</p><p>　　50年代中期，由于感知機（Perceptron）及其學習算法獲得局部成功，曾風行一時。但很快又因感知機分類能力的局限性而轉入低潮。</p><p>　　經(jīng)過近20年的沉默和少數(shù)先驅者的艱苦努力，到80年代初又重新興起。一方面是

19、由于傳統(tǒng)的人工智能方法在解決像視覺處理、語言理解等方面問題時陷于困境；另一方面，神經(jīng)網(wǎng)絡的一些研究成果有了很大的突破。1982年，美國物理學家霍普菲爾德（Hopfield）提出了一種新的精神網(wǎng)絡模型，引入“能量”函數(shù)，使得網(wǎng)絡穩(wěn)定性研究有了明顯的依據(jù)。特別是這種模型所具有的聯(lián)想記憶、分類與誤差自動校正等智能功能，尤其引起人們的興趣。1984年，霍普菲爾德將這種模型用簡明模擬電子電路實現(xiàn)，并應用于目前電子計算機尚難于解決的著名的“巡回推銷

20、員問題（TSP，Travel Salesmen Problem）”，獲得了很好的答案。Dvaid Rumelhart等人發(fā)表了PDP（Parallel Distribution Processing）理論，提出了誤差反向傳播（Error Back Propagation）學習方法，使得原以為不可能的多層網(wǎng)絡的學習問題得到了解決。此后，在美國、日本、歐洲掀起了一股神經(jīng)網(wǎng)絡研究熱潮。</p><p>　　現(xiàn)在，ANN

21、已經(jīng)成為諸多科學與技術學科共同關注的重大課題，神經(jīng)網(wǎng)絡的研究涉及眾多學科領域。不同領域的科學家和技術學家從各自學科的興趣和特色出發(fā)，提出不同的問題，從不同的角度著手研究，解決自己領域內(nèi)的種種問題。</p><p>　　2.1.3神經(jīng)網(wǎng)絡的應用</p><p>　　人工神經(jīng)網(wǎng)絡在應用上已迅速擴展到許多重要領域。</p><p><b>　　模式識別與圖像處理

22、</b></p><p>　　印刷體和手寫體字符識別，語音識別，簽字識別，指紋識別，人臉識別，癌細胞檢測，心電圖和腦電圖分類，RNA和DNA識別，油氣貯藏勘測，加速器事故檢測，目標檢測與識別，圖像壓縮，圖像復原等。</p><p><b>　　控制與優(yōu)化</b></p><p>　　化工過程控制，機械手運動，電弧爐電極控制，半導體生

23、產(chǎn)中摻雜控制，石油精煉和食品工業(yè)中優(yōu)化控制，VLSI（超大規(guī)模集成電路）布線設計等。</p><p><b>　　預測與管理</b></p><p>　　股票市場預測，有價證券管理，信貸風險分析，信用卡管理，機票管理。</p><p><b>　　通信</b></p><p>　　自適應均衡，回波抵

24、消，路由選擇，ATM網(wǎng)絡中的呼叫接納識別及控制等。</p><p>　　其它應用如導航，光學望遠鏡聚焦，運載體軌跡控制，電機故障檢測以及多媒體技術等。</p><p>　　2.2人工神經(jīng)網(wǎng)絡實現(xiàn)原理</p><p>　　神經(jīng)元（neuron或neurone）是神經(jīng)系統(tǒng)內(nèi)直接從事信息的接收或產(chǎn)生、傳遞以及處理工作的神經(jīng)細胞。對大腦神經(jīng)元的研究表明，當其處于興奮狀態(tài)時，

25、輸出側的軸突就會發(fā)出脈沖信號，每個神經(jīng)元的樹狀突起與來自其他神經(jīng)元軸突的互相結合部（此結合部稱為Synapse，即突觸），接收由軸突傳來的信號。如果一神經(jīng)元所接收到的信號的總和超過了它本身的“闕值”，則該神經(jīng)元就會處于興奮狀態(tài)，并向它后續(xù)連接的神經(jīng)元發(fā)出脈沖信號。人腦大約由1011～1012個神經(jīng)元組成，人工神經(jīng)網(wǎng)絡是由多個神經(jīng)元按照一定的排列順序構成的。神經(jīng)元是人工神經(jīng)網(wǎng)絡的基本單元。</p><p>　　2.

26、2.1 人工神經(jīng)元</p><p>　　圖2-1為人工神經(jīng)元模型，X為該神經(jīng)元接受到的來自其它神經(jīng)元的輸出信息，W為聯(lián)接強度，U為內(nèi)部狀態(tài)，θ是闕值，S為外部輸入信號。它有三個基本要素：</p><p>　?。?）一組連接權（對應于生物神經(jīng)元的突觸），連接強度由各連接上的權值表示，權值為正表示激勵，為負表示抑制。</p><p>　?。?）一個求和單元，用于求取各輸

27、入信息的加權和（線性組合）。</p><p>　?。?）一個非線性激勵函數(shù)，起非線性映射作用并限制神經(jīng)元輸出幅度在一定的范圍之內(nèi)（一般限制在[0，1]或[－1，＋1]之間。此外還有闕值θk（或偏置bk=－θk）。以上作用可以用數(shù)學式表達為：</p><p><b>　　j</b></p><p>　　人工神經(jīng)元具有多個輸入和一個輸出，每一個輸入

28、都是前一層神經(jīng)元的輸出，并且每一個輸入都又可以改變的權重，輸入加權求和后通過一定的函數(shù)關系輸出。對應于人體生理神經(jīng)系統(tǒng)的概念是：神經(jīng)元的每一輸入為相關神經(jīng)元的軸突輸出，輸入的權重為本神經(jīng)元與相關神經(jīng)元的突觸的聯(lián)接強度，并且權重的值可正可負，正表示興奮性突觸，負表示抑制性突觸。神經(jīng)元在輸入信號作用下產(chǎn)生輸出信號的規(guī)律由神經(jīng)元功能函數(shù)給出，這是神經(jīng)元模型的外特性。由于神經(jīng)元功能函數(shù)形式的不同，形成了多種多樣的神經(jīng)元模型。</p>

29、<p>　　2.2.2人工神經(jīng)網(wǎng)絡的基本原理及構成</p><p>　　一般而言，神經(jīng)元功能函數(shù)有簡單映射、動態(tài)系統(tǒng)方程、概率統(tǒng)計模型和多項式闕值函數(shù)模型四類。簡單映射是神經(jīng)網(wǎng)絡中各神經(jīng)元輸入與輸出具有一種簡單的線性或者非線性的函數(shù)關系。動態(tài)系統(tǒng)方程反映了網(wǎng)絡的動態(tài)特性，其輸入與輸出具有時延關系。概率統(tǒng)計模型描述神經(jīng)元輸入與輸出之間不存在確定關系，而是一個隨機函數(shù)，多項式闕值函數(shù)模型反映輸入信號自身

30、相關性，它表征神經(jīng)元輸入與輸出之間不但存在一階函數(shù)關系，而且還存在著輸出與多個輸入的乘積之間的關系。</p><p>　　神經(jīng)網(wǎng)絡是一個復雜的互聯(lián)系統(tǒng)，神經(jīng)元之間的連接模式種類繁多，形成了多種人工神經(jīng)網(wǎng)絡模型。</p><p>　　2.2.3幾種典型的神經(jīng)網(wǎng)絡簡介</p><p>　　現(xiàn)有的人工神經(jīng)網(wǎng)絡模型已經(jīng)不下百種。隨著應用研究的不斷深入，新的人工神經(jīng)網(wǎng)絡模型也

31、在不斷推出。其中最具代表性的人工神經(jīng)網(wǎng)絡模型有多層前饋網(wǎng)絡（MLP），Hopfield神經(jīng)網(wǎng)絡（HNN），隨機神經(jīng)網(wǎng)絡和自組織神經(jīng)網(wǎng)絡。</p><p>　?。?）多層前饋網(wǎng)絡及BP算法</p><p>　　自從1985年Rosenblatt提出了反向傳播（BP）算法以來，前饋網(wǎng)絡的研究取得了重大進展。但是人工神經(jīng)網(wǎng)絡硬件芯片的進展還十分緩慢，大部分工作是在計算機上對標準BP算法進行改進。

32、目前，在天氣預報、行情預測、數(shù)學分類、建筑設計等領域得到了廣泛的應用。</p><p>　　（2）Hopfield神經(jīng)網(wǎng)絡 （HNN）</p><p>　　Hopfield神經(jīng)網(wǎng)絡是一種帶有反饋的動力學系統(tǒng)，它分離散和連續(xù)兩種模型。離散模型可以用一種加權無向圖來表示，它多應用于聯(lián)想存儲、模式識別與優(yōu)化計算。連續(xù)模型引入了能量函數(shù)的概念，使求解優(yōu)化組合問題轉化為求解能量最小問題。其思想是將求

33、解的問題表達為一個動力學系統(tǒng)（即神經(jīng)網(wǎng)絡），并研究其收斂性，構造一種合適的能量函數(shù)，使其最小值點對應于優(yōu)化組合問題的最佳解。目前研究的焦點是構造一種符合問題的能量函數(shù)以求解不同的問題，其中最著名的旅行商（TSP）問題，八皇后問題都是利用連續(xù)Hopfield神經(jīng)網(wǎng)絡求解，并得到了滿意結果。</p><p>　?。?）隨機神經(jīng)網(wǎng)絡與模擬退火算法</p><p>　　1983年Hinton等提出

34、的Boltzmann機是隨機神經(jīng)網(wǎng)絡模型的典型代表。它可以看成Hopfield聯(lián)想記憶模型的推廣，與Hopfield網(wǎng)絡不同的是，它是具有概率狀態(tài)隨機轉移機制而Hopfield是確定性的。此外，Boltzmann機還允許含有隱單元來捕獲學習中的高階規(guī)則。目前常用的算法有模擬退火算法和快速模擬退火算法及一些改進算法，利用Boltzmann機，主要應用于優(yōu)化計算，由于引入一定程度的隨機性擾動，以保證系統(tǒng)從局部極小中爬出來，找到全局極小，即得

35、到全局最優(yōu)。</p><p>　?。?）自組織神經(jīng)網(wǎng)絡</p><p>　　自組織神經(jīng)網(wǎng)絡是一類無教師監(jiān)督學習的網(wǎng)絡，它的兩個核心是自適應共振理論（ART）和自組織特征映射。由于這類網(wǎng)絡具有無教師監(jiān)督學習的特點，因此它可以實時學習，并可適應非平穩(wěn)的環(huán)境。目前，主要工作是對自適應算法進行研究。實際應用中，自組織特征映射網(wǎng)絡主要用于自聯(lián)想最臨近分類器。</p><p>

36、　　2.3神經(jīng)網(wǎng)絡的相關知識</p><p>　　2.3.1人工神經(jīng)網(wǎng)絡的基本特征</p><p>　　人工神經(jīng)網(wǎng)絡是一種模仿人類神經(jīng)系統(tǒng)的數(shù)學模型，是在現(xiàn)代腦神經(jīng)科學基礎上提出來的，它反映了人腦功能的基本特性。但它并不是人腦的真實描寫，而只是它的某種抽象、簡化和模擬。人工神經(jīng)網(wǎng)絡這些特點使得它不同于一般計算機和人工智能。</p><p>　?。?）人工神經(jīng)網(wǎng)絡為廣

37、泛連接的巨型系統(tǒng)。神經(jīng)科學研究表明，人類中樞神經(jīng)的主要部分大腦皮層由1011～1012個神經(jīng)元組成，每個神經(jīng)元共有101～105個突觸，突觸為神經(jīng)元之間的結合部，決定神經(jīng)元之間的連接強度與性質。這表明大腦皮層是一個廣泛連接的巨型復雜系統(tǒng)。人工神經(jīng)網(wǎng)絡的連接機制模仿了人腦的這一特性。</p><p>　?。?）人工神經(jīng)網(wǎng)絡有其并行結構和并行處理機制。人工神經(jīng)網(wǎng)絡不但結構上是并行的，它的處理順序也是并行的和同時的。在

38、同一層內(nèi)處理單元都是同時操作的，即神經(jīng)網(wǎng)絡的計算功能分布在多個處理單元上。</p><p>　?。?）人工神經(jīng)網(wǎng)絡具有分布式結構。在神經(jīng)網(wǎng)絡中，知識不是存儲在特定的存儲單元中，而是分布在整個系統(tǒng)中，要存儲多個知識就需要很多連接。而存儲知識的獲得采用“聯(lián)想”的辦法，這類似人類和動物的聯(lián)想記憶。當一個神經(jīng)網(wǎng)絡輸入一個激勵時，它要在已存儲的知識中尋找與輸入匹配最好的存儲知識為其解。聯(lián)想記憶有兩個主要特點：一是具有存儲大

39、量復雜圖形的能力（像語音的樣本可視為圖像，其它像機器人的活動，時空圖形的狀態(tài)，社會的情況等），一是可以很快地將新的輸入圖形歸并分類為已存儲圖形的某一類。</p><p>　?。?）人工神經(jīng)網(wǎng)絡具有很強的容錯性。大腦具有很強的容錯能力。我們知道，每天都有大腦細胞自動死去，但并沒有影響人們的記憶和思考能力。這正是由于大腦中知識是存儲在很多處理單元和它們的連接上的結果。人工神經(jīng)網(wǎng)絡也是如此，由于知識存儲在整個系統(tǒng)中，而

40、不是在一個存儲單元中，一定比例的結點不參與運算，對整個系統(tǒng)性能不會產(chǎn)生重大影響。</p><p>　?。?）人工神經(jīng)網(wǎng)絡具有自學習、自組織、自適應能力。人腦功能受先天因素的制約，但后天因素（如經(jīng)歷、學習與訓練等）起著重要作用。人工神經(jīng)網(wǎng)絡很好地模擬了人腦的這一特性。如果最后的輸出不正確，系統(tǒng)可以調(diào)整加到每個輸入上去的權重以產(chǎn)生一個新的結果，這可以通過一定的訓練算法來實現(xiàn)。訓練過程是復雜的，通過網(wǎng)絡重復地進行輸入數(shù)

41、據(jù)，且每次都調(diào)整權重以改善結果，最終達到所希望的輸出。網(wǎng)絡便在訓練過程中學到了經(jīng)驗。</p><p>　　2.3.2神經(jīng)網(wǎng)絡的學習方式</p><p>　　通過向環(huán)境學習獲取知識并改進自身性能是NN的一個重要特點。在一般情況下，性能的改善是按某種預定的度量通過調(diào)節(jié)自身參數(shù)（如權值）隨時間逐步達到的。學習方式(按照環(huán)境提供信息量的多少)有三種：</p><p>　　1

42、．監(jiān)督學習（有教師學習）</p><p>　　如圖2－2所示，這種學習方式需要外界存在一個“教師”，它可對給定一組輸入提供應有的輸出結果（正確答案），這組已知的輸入－輸出數(shù)據(jù)稱為訓練樣本集，學習系統(tǒng)可根據(jù)已知輸出與實際輸入之間的差值（誤差信號）來調(diào)節(jié)系統(tǒng)參數(shù)。</p><p>　　2．非監(jiān)督學習（無教師學習）</p><p>　　如圖2－3所示，非監(jiān)督學習時不存在外

43、部教師，學習系統(tǒng)完全按照環(huán)境提供數(shù)據(jù)的某些統(tǒng)計規(guī)律來調(diào)節(jié)自身參數(shù)或結構（這是一種自組織過程），以表示出外部輸入的某種固有特性（如聚類或某種統(tǒng)計上的分布特征）。</p><p>　　3．再勵學習（強化學習）</p><p>　　如圖2－4所示，這種學習介于上述兩種情況之間，外部環(huán)境對系統(tǒng)輸出結果只給出評價信息（獎或懲）而不是給出正確答案。學習系統(tǒng)通過強化那些受獎的動作來改善自身的性能。<

44、;/p><p>　　圖2－4 再勵學習框圖</p><p>　　當學習系統(tǒng)所處環(huán)境平穩(wěn)時（統(tǒng)計特性不隨時間變化），從理論上講通過監(jiān)督學習可以學到環(huán)境的統(tǒng)計特性，這些統(tǒng)計特性可被學習系統(tǒng)（神經(jīng)網(wǎng)絡）作為經(jīng)驗記住。如果環(huán)境是非平穩(wěn)的（統(tǒng)計特性隨時間變化），通常的監(jiān)督學習沒有能力跟蹤這種變化，此時需要對每一不同輸入都作為一個新的例子來對待。</p><p>　　2.3.3人

45、工神經(jīng)網(wǎng)絡的實現(xiàn)及應用舉例</p><p>　　目前，人工神經(jīng)網(wǎng)絡的實現(xiàn)方法有以下四種途徑：</p><p><b>　　1．軟件模擬</b></p><p>　　2．超大規(guī)模集成電路（VLSI）</p><p><b>　　3．光電混合</b></p><p><b&

46、gt;　　4．全光實現(xiàn)</b></p><p>　　軟件模擬盡管由于受現(xiàn)行計算機串行處理的限制而發(fā)揮不出神經(jīng)網(wǎng)絡并行計算速度快的優(yōu)點來，學習速度慢，但因為其容易實現(xiàn)，因而是用來研究網(wǎng)絡模型性能特點的很好工具。對于改變網(wǎng)絡模型性能，為硬件實現(xiàn)提供可靠資料方面，軟件模擬起著重要作用。對一些可以離線學習的實際應用問題，也可以用軟件模擬的方法來實現(xiàn)。</p><p>　　由于超大規(guī)模集

47、成電路技術的成熟，目前國外已經(jīng)研制出各種神經(jīng)芯片。全光實現(xiàn)神經(jīng)網(wǎng)絡的典型例子是Hopfield模型的實現(xiàn)，即Y.Owechko提出的關聯(lián)存儲器，它充分利用了光學二維并行處理的特點。光電混合的實現(xiàn)方法將光的二維并行處理特點同電子控制的靈活性結合起來，各取所長。利用光學方法實現(xiàn)并行的矩陣矢量乘法運算，即光學乘法器，用電子或計算機方法來取闕值，控制反饋并調(diào)節(jié)互聯(lián)權重，其發(fā)展相當迅速。</p><p>　　2.3.4人工

48、神經(jīng)網(wǎng)絡的發(fā)展前景</p><p>　　近幾年來，人工神經(jīng)網(wǎng)絡無論在理論研究上，還是再實踐應用中，都取得了突飛猛進的發(fā)展。但是我們必須清醒的認識到，人工神經(jīng)網(wǎng)絡與生物神經(jīng)系統(tǒng)相比，無論在結構還是在規(guī)模上，都只是極其簡單的模擬。另外，現(xiàn)在人工神經(jīng)網(wǎng)絡的應用，都是為某種特定的用途而開展的，其設計規(guī)則沒有推廣性。因此，人工神經(jīng)網(wǎng)絡的研究還存在著許多待研究的問題。具體來講，今后的研究還需致力于以下幾個方面：</p&

49、gt;<p>　?。?）研究人工神經(jīng)網(wǎng)絡的通用網(wǎng)絡規(guī)模及算法，包括網(wǎng)絡的層數(shù)、每層節(jié)點數(shù)、連接方式、激發(fā)函數(shù)的類型等。</p><p>　?。?）研究學習算法，使網(wǎng)絡的訓練能既快又穩(wěn)地收斂到全局最小點，即全局最優(yōu)解。</p><p>　　（3）研制人工神經(jīng)網(wǎng)絡硬件芯片以提高運行速度。</p><p>　?。?）研究人工神經(jīng)網(wǎng)絡類似人類的知識獲取過程。人

50、類的知識獲取是循序漸進、逐漸積累、至始到終的。一般是經(jīng)過訓練，從無知一躍變?yōu)榫哂心撤N專門知識，并停留在這一水平上。若要加入新知識則需要重新開始學習。這種方式限制了人工神經(jīng)網(wǎng)絡的發(fā)展。</p><p>　　目前，人工神經(jīng)網(wǎng)絡還處于算法研究階段，硬件實現(xiàn)進展還十分緩慢。但是隨著超大規(guī)模集成電路VLSI、光學與電子器件的發(fā)展，人工神經(jīng)網(wǎng)絡將會得到越來越廣泛的應用和迅猛發(fā)展。</p><p>&l

51、t;b>　　第三章 BP網(wǎng)絡</b></p><p>　　3.1 BP 算法</p><p>　　自1985年Rumelhart提出BP算法以來，神經(jīng)網(wǎng)絡的研究和應用已經(jīng)迅速發(fā)展并滲透到各個學科，神經(jīng)網(wǎng)絡算法已不再是只供研究，而在實際的生產(chǎn)中開始了廣泛的應用。如：數(shù)據(jù)庫系統(tǒng)的數(shù)據(jù)挖掘、產(chǎn)品的自動分撿系統(tǒng)的圖像識別等。對應地在計算機輔助設計的軟件開發(fā)中，神經(jīng)網(wǎng)絡算法的設計

52、也越來越多。</p><p>　　神經(jīng)網(wǎng)絡以其快速的并行處理能力和其強有力的學習能力而獲得越來越廣泛的重視，其中應用最多的是BP神經(jīng)網(wǎng)絡。BP學習算法，即反向傳播（back propagation）學習算法是一種有導師的示例學習算法。這種學習算法在模式識別領域中，尤其在字符識別的研究中被廣泛使用。其原因是BP算法學習規(guī)則的堅韌性和學習能力很強，當給定模式與BP網(wǎng)絡學會的模式很相似時，BP網(wǎng)絡能很好的完成識別任務。

53、</p><p>　　3.1.1 BP算法的主要思想</p><p>　　BP 算法是一種有監(jiān)督式的學習算法。其主要思想是：輸入學習樣本，使用反向傳播算法對網(wǎng)絡的權值和偏差進行反復的調(diào)整訓練，通過誤差的反向傳播，使輸出的向量與期望向量盡可能地接近，當網(wǎng)絡輸出層的誤差平方和小于指定的誤差時訓練完成，保存網(wǎng)絡的權值和偏差。</p><p>　　3.1.2 BP算法的組成

54、</p><p>　　BP 算法由兩部分組成：信息的正向傳遞與誤差的反向傳播。在正向傳播過程中,輸入信息從輸入層經(jīng)過隱含層逐層計算傳向輸出層，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。如果在輸出層沒有得到期望的輸出，則計算輸出層的誤差變化值，然后轉向反向傳播，通過網(wǎng)絡將連接權關于誤差函數(shù)的導數(shù)沿著原來的連接通路反傳回來，通過修改各層神經(jīng)元的權值使得誤差減小，直至達到期望目標。</p><p&

55、gt;　　3.1.3 BP網(wǎng)絡的一般學習算法</p><p>　　BP網(wǎng)絡是一種有監(jiān)督的前饋運行的神經(jīng)網(wǎng)絡，它由輸入層i、隱含層h、輸出層k以及各層之間的節(jié)點的連接權所組成。BP網(wǎng)絡的拓撲結構如圖3－1和圖3－2所示。</p><p><b>　　1．正向傳播過程</b></p><p><b>　　輸入層</b><

56、/p><p>　　輸入值一般為樣本各分量輸入值，輸出值一般等于輸入值。</p><p><b>　　隱含層</b></p><p>　　對于節(jié)點j，其輸入值netj為其前一層各節(jié)點輸出值Oi的加權和：</p><p>　　netj＝ijOi （1）</p>

57、<p><b>　　輸出值：</b></p><p>　　Oj＝fs（netj） （2）</p><p>　　式中fs（·）稱為激勵函數(shù)或者作用函數(shù)。一般采用sigmoid函數(shù)：</p><p>　　式中θj稱為闕值，λ稱為溫度系數(shù)。</p><p&g

58、t;　　隱含層可為一層或者多層，但是隨著隱含層的增多，網(wǎng)格的復雜程度也隨之增加，學習速度減慢，另外網(wǎng)絡的推導能力也有可能下降，即所謂的“overfitting”現(xiàn)象。網(wǎng)絡隱含層以及節(jié)點數(shù)目的選取是BP網(wǎng)絡學習算法有待解決的一個問題。</p><p><b>　　輸出層</b></p><p>　　輸出層的輸入netk與輸出Ok與隱含層類似，分別為：</p>

59、<p>　　netk＝kjOi （4）</p><p>　　Ok＝fx（netk） （5）</p><p><b>　　2．反向傳播過程</b></p><p>　　BP學習算法的誤差函數(shù)一般定義為實際輸出與期望輸出的均

60、方誤差和。通過使誤差函數(shù)最小化的過程不斷的改變權重，完成從輸入到輸出的非線性映射。</p><p>　　設網(wǎng)絡輸入模式樣本為xp＝{xpi}，期望輸出為{tpk}，均方誤差函數(shù)Ep為：</p><p>　　Ep＝pk－Opk）2 （6）</p><p>　　而對于所有的學習樣本，系統(tǒng)的均方誤差為：</p>&

61、lt;p>　　Ep＝tpk－Opk）2 （7）</p><p>　　為了達到學習目的，要根據(jù)誤差函數(shù)來相應地調(diào)整網(wǎng)絡間的連接權值。一般來說經(jīng)典的BP學習算法采用最速梯度下降法調(diào)整權值，每次調(diào)整的增量為：</p><p>　　式中0<η<1稱為學習率。</p><p>　　從（8）式可推出下列連接權值的修正量公

62、式</p><p>　　⊿Wkj＝ηkOj （9）</p><p><b>　　對于輸出節(jié)點：</b></p><p>　　k＝（tk－Ok）Ok(1－Ok) （10）</p><p><b>　　對于隱節(jié)點

63、：</b></p><p>　　j＝Oj（1－Oj）kWkj （11）</p><p>　　3.2 BP學習算法的局限性與對策</p><p>　　BP學習算法解決了多層前饋網(wǎng)絡的訓練與非線性映射問題，在實際應用中具有重大意義，在應用BP學習算法的過程中，人們逐漸發(fā)現(xiàn)它存在的某些缺陷，存在局部極小值、學習速度

64、慢、網(wǎng)絡隱節(jié)點和初始權值的選取只能憑經(jīng)驗、新加入的樣本要影響已經(jīng)學完的樣本，并且每個樣本的輸入樣本的特征數(shù)目也要求必須相同；學習過程能否收斂，什么時候收斂已經(jīng)學習后所生成的權重空間的分布狀況等，這些至今還是一個未知數(shù)。</p><p>　　3.2.1 BP學習算法存在的局限性</p><p>　　BP學習算法存在的局限性總結如下：</p><p>　　1．歸納能力（

65、GENERALIZATION）</p><p>　　基于BP學習算法的神經(jīng)網(wǎng)絡具有較強的歸納能力。這里，歸納是指當用一組同類型的樣本集訓練時，BP網(wǎng)絡能將一些不相關的信息忽略掉，而學習樣本集中共同的特征，通過這樣的學習，BP網(wǎng)絡很容易記住了這一類型的樣本。然而，BP學習算法對不同類型微小特征差異的樣本缺乏足夠的歸納能力。</p><p>　　2．外推能力（EXTRAPOLATION）<

66、;/p><p>　　和歸納能力相對，BP網(wǎng)絡的外推能力是指BP網(wǎng)絡對一類樣本訓練完后，對其它非訓練樣本測試其識別能力。實驗結果表明，外推能力與訓練樣本的種類和數(shù)量有關。只有將各種不同類型的充足的樣本訓練后，才能對各種樣本的測試達到較好的推廣能力。</p><p><b>　　3．學習速度</b></p><p>　　BP神經(jīng)網(wǎng)絡的學習過程是一種超大

67、規(guī)模的反復的浮點數(shù)值運算過程，因此，無論從學習算法本身考慮，還是從使用的微機設備上考慮，學習速度一般是較慢的。</p><p><b>　　4．收斂性</b></p><p>　　BP學習算法的收斂性至今沒能用完整的理論來證明它。網(wǎng)絡學習過程中極易陷入局部極小點。一旦網(wǎng)絡的權重陷入一個極小點，無論是全局極小點還是局部極小點，學習均告終止。如果在該點的狀態(tài)下所要求的問題

68、解是正確的，那么，該點是局部的還是全局的極小點就顯得不那么重要了。但若所求問題的解是不正確的，那么只有再次調(diào)整權值，直到找到另一個極小點對所求問題的解是正確時為止，即要逃離原來的局部極小點。</p><p><b>　　5．解釋能力</b></p><p>　　神經(jīng)網(wǎng)絡對自身解決問題的方式不能形成一個規(guī)范的推導過程。它通過學習所形成的“自我認識”對人來說是透明的。這對

69、有導師訓練的BP學習算法而言，大大阻礙了指導人與被指導對象的交流。</p><p>　　3.2.2克服BP學習算法的對策</p><p>　　上面論述的BP學習算法局限性，它既受BP學習算法本身不足之處的限制，也受所采用的網(wǎng)絡結構形式的限制，而且還受訓練者所積累的經(jīng)驗和訓練方法的限制。因此，從以下3個方面改進，實驗效果良好。</p><p>　　1．多神經(jīng)網(wǎng)絡組合結

70、構</p><p>　　圖3－3為有限類模式識別的多神經(jīng)網(wǎng)絡組合結構簡圖。設所要求解的問題劃分為m類，分別由group1，group2，…，groupm，共m組神經(jīng)網(wǎng)絡分類器完成。每一類問題又由該組的若干個規(guī)模較小的神經(jīng)網(wǎng)絡共同完成。決策判斷將m組的神經(jīng)網(wǎng)絡分類器輸出綜合考慮，根據(jù)輸出結果的要求，可采用不同的決策判斷策略，最后輸出結果。多神經(jīng)網(wǎng)絡組合結構具有如下的特點：</p><p>　

71、?。?）多神經(jīng)網(wǎng)絡組合結構，將以往BP網(wǎng)絡規(guī)模大小與問題復雜性的矛盾轉化為系統(tǒng)規(guī)模大小與問題復雜性的矛盾。后一矛盾比較容易由軟件模擬或硬件方法解決。</p><p>　　（2）神經(jīng)網(wǎng)絡組合結構使得一個復雜的問題得以細分為一個個小問題，分別由不同的小神經(jīng)網(wǎng)絡完成。做到每個小神經(jīng)網(wǎng)絡解決的問題簡單，規(guī)模變小，從而確定了對小神經(jīng)網(wǎng)絡的規(guī)模和識別能力要求。因此，網(wǎng)絡的學習速度得到有效的提高，收斂性問題也容易得到技術上的解

72、決。這樣帶來的好處是學習樣本可以方便、快速地進入系統(tǒng)，從而不斷提高整個系統(tǒng)地識別率。</p><p>　　（3）神經(jīng)網(wǎng)絡組合結構具有極強地擴充能力。根據(jù)所需識別對象的模式類型可方便地確定出所需的分類器組數(shù)。并能在系統(tǒng)不斷學習的過程中，靈活地增加或減少每組分類器內(nèi)小神經(jīng)網(wǎng)絡地個數(shù)。</p><p>　　（4）組合結構使大量地訓練樣本分散到各個小神經(jīng)網(wǎng)絡中訓練，每個小神經(jīng)網(wǎng)絡結構相同，規(guī)模不盡

73、相同，所訓練的樣本集也不盡相同。</p><p>　?。?）各個小神經(jīng)網(wǎng)絡之間是相互獨立的，每當對其中的一個神經(jīng)網(wǎng)絡進行學習訓練時，只是該小神經(jīng)網(wǎng)絡內(nèi)的神經(jīng)元之間連接權重的改變，而對其它小神經(jīng)網(wǎng)絡的權重沒有任何影響。各個小神經(jīng)網(wǎng)絡之間又是相互補充的，每組內(nèi)各個小神經(jīng)網(wǎng)絡完成對一個特定問題的學習、訓練和識別。</p><p>　　（6）各組神經(jīng)網(wǎng)絡分類器之間是相互排斥的。每組神經(jīng)網(wǎng)絡分類器既

74、完成對本組模式的識別，也完成對其它各組模式的拒識。同時，它們又是相互聯(lián)系的，各組神經(jīng)網(wǎng)絡分類器的組合共同完成對所有模式的識別。</p><p>　　2．對BP學習算法的改進</p><p><b>　　詳見3.3節(jié)</b></p><p><b>　　3．改進訓練策略</b></p><p><

75、;b>　　a．批量學習方式</b></p><p>　　批量學習方法是將樣本集的所有樣本一一輸入，分別求出其輸出誤差。選取最大的誤差對權重進行調(diào)整?？墒沁@樣做會帶來新局部極小點的缺點，實驗表明確實如此。出現(xiàn)這類情況，采用如下策略能有效地逃離該局部極小點。</p><p>　?。?）將所有訓練樣本集樣本再輸入一次或者幾次，進行調(diào)整權值。因為每次重新輸入樣本時，初值較前一次有

76、變化。</p><p>　?。?）將期望誤差改小。</p><p>　?。?）等新的樣本添加進來后再一起訓練。</p><p>　　b．人工干預的學習方式</p><p>　?。?）限制BP網(wǎng)絡的學習時間</p><p>　　一般規(guī)定一分鐘以內(nèi)學習結束，否則認為學習速度過于緩慢，此時人為中斷這次的學習過程。</p

77、><p>　?。?）限制單個網(wǎng)絡的規(guī)模及其學習的樣本數(shù)。當單個小網(wǎng)絡達到限定的規(guī)模，并且學習的樣本數(shù)也達到限定的范圍時，則認為小網(wǎng)絡的識別能力已經(jīng)足夠了。再增加進來的學習樣本，則只有當它在半分鐘內(nèi)學習結束的，才被網(wǎng)絡接受，否則認為該小網(wǎng)絡不接受它，也即表明此樣本跟該網(wǎng)絡所能識別的樣本是不合群的。</p><p><b>　?。?）交叉訓練方法</b></p>

78、<p>　　對于一批訓練樣本集，假設有2種類型，不能把集中同一類型的樣本都訓練完后才轉去訓練另一種類型的樣本。而應該將一部分第一種類型的樣本訓練完后，再將一部分第二種類型的樣本進行訓練，然后再輸入另一部分第一種類型的樣本訓練，如此反復。實驗表明，這樣訓練的單個小網(wǎng)絡有較好的識別能力。</p><p>　　（4）一次性整批樣本添加訓練法</p><p>　　將這次所需訓練的樣本一

79、次性地全部添加到原有訓練樣本集后面訓練，直到學習結束。</p><p>　?。?）分批樣本添加訓練法</p><p>　　即將這次所需訓練的全部樣本分成幾批，一次添加一批樣本到原有訓練樣本集后面訓練，等學習結束后，再添加第二批樣本集進行訓練，直到將所有樣本訓練完。</p><p>　?。?）單個樣本添加訓練法</p><p>　　即每次只添加

80、一個樣本進行訓練，直到將所有樣本訓練完。</p><p>　?。?）改變樣本順序的訓練法</p><p>　　當新樣本添加到已有訓練樣本集時，新樣本可插入已有訓練樣本集中任何位置，同時可改變已有訓練樣本的順序。</p><p>　　3.3對BP算法的改進</p><p>　　針對BP算法存在的問題，許多研究者從不從的角度提出了許多的解決方法，

81、這些方法都在一定程度上改進了 BP算法，并且由此繁衍出了很多變型的BP算法。對BP算法的改進可分為以下幾類：</p><p>　　3.3.1改進誤差函數(shù)</p><p>　　經(jīng)典的BP算法采用3.1.3中式（7）的平方型誤差函數(shù)，根據(jù)優(yōu)化理論，誤差函數(shù)可以是多種多樣的。一般來說，BP算法的誤差函數(shù)應該具有如下性質：</p><p><b>　?。╥）可微&

82、lt;/b></p><p>　?。╥i）|tpk－Opk| fc（tpk－Opk）</p><p>　?。╥ii）fc（tpk－Opk）非負</p><p>　　所以我們只要找到滿足上面三個條件的函數(shù)，就可以把它作為BP算法的誤差函數(shù)。經(jīng)典的BP算法權值的調(diào)節(jié)增量?W與系統(tǒng)誤差成線性關系。這種調(diào)節(jié)容易陷入局部極小，或者產(chǎn)生振蕩。造成這種現(xiàn)象的原因之一是因為在

83、利用系統(tǒng)誤差調(diào)節(jié)權值的時候只考慮了誤差函數(shù)的一次項而忽略了高次項的作用。有人提出了一種類似的改進方法：取誤差函數(shù)為：</p><p><b>　　fc＝1－</b></p><p>　　比較這兩個式子的導數(shù)，可以發(fā)現(xiàn)該算法較經(jīng)典的BP算法多了一項。由Taylor展開式可知該項因子包含了系統(tǒng)誤差的高次項，它的作用是能根據(jù)期望輸出與實際輸出之間的誤差動態(tài)的調(diào)整學習率，提高

84、了學習速度，避免了局部極小值的出現(xiàn)和振蕩現(xiàn)象的出現(xiàn)，實例運行表明效果提高顯著。Joines也提出了采用包含系統(tǒng)誤差的高次項的誤差函數(shù)的改進方法。</p><p>　　3.3.2改進激勵函數(shù)</p><p>　　經(jīng)典的BP算法采用sigmoid函數(shù)，其輸出的動態(tài)范圍為[0，1]，其導數(shù)為：</p><p>　　f’s＝f（x）（1－f（x））</p>&

85、lt;p>　　把sigmoid函數(shù)的值接近于0或1的定義域兩端定義為飽和區(qū)，中間為非飽和區(qū)。在飽和區(qū)函數(shù)值對自變量netj的變化不敏感。因此，當某神經(jīng)元j的輸入總值netj處于飽和區(qū)時，那么權值的微小的變化不會對該神經(jīng)元的輸出產(chǎn)生什么影響，所以當一個神經(jīng)元處于飽和區(qū)后，它所受到后面樣本學習的影響不會很大。如果此時神經(jīng)元的輸出不是期望的輸出值，而權值調(diào)節(jié)量又很小，就很難將神經(jīng)元的狀態(tài)調(diào)整過來，因而影響了網(wǎng)絡的收斂速度。這就是所謂的“

86、平臺”現(xiàn)象。</p><p>　　《多層前饋神經(jīng)網(wǎng)絡的一種快速學習算法》（參考文獻7）中提出了一種方法，當判斷某個神經(jīng)元處于假飽和時，便不用經(jīng)典的學習規(guī)則調(diào)整權值，而是用一個固定的常數(shù)s代替f’s，促使神經(jīng)元迅速地從假飽和狀態(tài)擺脫出來，從而加速網(wǎng)絡的收斂，解決了平臺現(xiàn)象。</p><p>　　Tawel等提出了一種動態(tài)調(diào)整溫度系數(shù)λ的方法。隨著溫度系數(shù)λ的減小，sigmoid函數(shù)的飽和區(qū)間

87、也變小，對網(wǎng)絡的收斂很有幫助。但是在網(wǎng)絡的學習初期，這樣的sigmoid函數(shù)同時也會減慢權值的調(diào)整，學習速度不會有明顯的提高。針對這種情況該方法讓溫度系數(shù)也隨著網(wǎng)絡的誤差的變化而做相應的調(diào)整，根據(jù)網(wǎng)絡目前的狀態(tài)取值，從而避免神經(jīng)元的假飽和。</p><p>　　對激勵函數(shù)的修改并不只限于以上兩種方法。由于激勵函數(shù)對學習速度的影響主要體現(xiàn)在假飽和現(xiàn)象上，因此只要能夠克服假飽和現(xiàn)象就有可能提高學習速度。據(jù)此還可以做進

88、一步的研究，找出更多的滿足要求的激勵函數(shù)。</p><p>　　3.3.3改進優(yōu)化算法</p><p>　　經(jīng)典的BP算法采用梯度下降法。當誤差曲面為窄長型時，該算法在谷的兩壁跳來跳去，影響了網(wǎng)絡的收斂速度。最普通的改進方法為附加動量法，將式（9）改為：</p><p><b>　　式中稱為動量因子。</b></p><p&

89、gt;　　利用附加的動量項可以起到平滑梯度方向的劇烈變化。更進一步可以在學習過程中動態(tài)地調(diào)整η和α的值，使η隨系統(tǒng)總誤差E不斷的變化，以避免出現(xiàn)⊿W取值過小，尤其是在接近系統(tǒng)最小值的時候。</p><p>　　實驗中發(fā)現(xiàn)，η越大，學習速度會越快，但過大時會引起振蕩效應；而α取的過大可能導致發(fā)散，過小則收斂速度太慢；η取0.2～0.5，α取0.90～0.98時有較快的收斂速度。動態(tài)調(diào)整η和α值，收到良好效果。<

90、;/p><p>　　根據(jù)優(yōu)化理論還有很多種優(yōu)化方法。這些方法一般都可以應用到改進BP算法中。例如同倫方法、梯度法、共軛梯度法以及牛頓法。事實證明采用較好的優(yōu)化方法可以提高網(wǎng)絡的收斂速度、避免陷入局部極小。尋求一種適合BP算法使用的新的優(yōu)化算法也是一個很有價值的研究課題。</p><p>　　第四章 手寫數(shù)字識別</p><p><b>　　4.1 模式識別&l

91、t;/b></p><p>　　手寫體數(shù)字識別是計算機模式識別領域的一個前沿課題。模式識別誕生于20世紀20年代，隨著40年代計算機的出現(xiàn)，50年代人工智能的興起，模式識別在20世紀60年代迅速發(fā)展成為一門學科，擴大了計算機應用的可能性。幾十年來，模式識別研究取得了大量的成果，也實現(xiàn)了很多成功的應用。</p><p>　　4.1.1模式和模式識別的概念</p><

92、p>　　我們在日常生活中經(jīng)常進行模式識別的活動。比如說，我們能分別出桌子、椅子，很小的時候就能分辯出自己的父母，能夠聽出是誰的聲音，能夠進行正常的閱讀，這些都是我們習以為常的能力，在計算機出現(xiàn)以前，沒有人對此表現(xiàn)出驚奇，也沒有人注意到人類的模式識別能力是一個值得研究的課題。當計算機出現(xiàn)以后，人工智能開始發(fā)展，模式識別也隨之成為一個熱門課題，當科學家發(fā)現(xiàn)用機器實現(xiàn)人類的模式識別能力是如此麻煩時，人們才意識到這個問題的難度。</

93、p><p>　　“模式”（Pattern）這個詞的原意是指供模仿用的，完美無缺的標本，這是一個相當含蓄的定義，并且觸及了一些相當深奧的論題。在心理學中，模式識別是作為一個過程來定義的，通過這一過程，到達感覺器官的外界信號被轉換成有意義的感性經(jīng)驗。簡單一點說，模式被理解成取自世界有限部分的單一樣本的被測量值的綜合；模式識別就是試圖確定一個樣本的類別屬性，即把某一樣本歸屬于多個類型中的某一類型。</p>&

94、lt;p>　　人們研究的目的就是實現(xiàn)機器的自動識別。這就需要把人們的知識和經(jīng)驗教給機器，為機器定制一些規(guī)則和方法，并且讓機器具有綜合分析和自動分類的判斷能力，以便使機器能夠完成自動識別的任務。當機器學會自動識別后，可以完成人們自己難以完成的許多工作。因此，模式識別技術被廣泛地應用于人工智能、計算機工程、神經(jīng)生物學、醫(yī)學、偵探學以及高能物理、考古學、地質勘探、宇航科學和武器技術等許多重要的領域，隨著高科技的迅速發(fā)展，模式識別技術必將

95、獲得更廣泛的應用，其基本理論和方法也會愈益豐富。</p><p>　　4.1.2模式識別系統(tǒng)的構成</p><p>　　有兩種基本的模式識別方法，即統(tǒng)計模式識別方法和結構（句法）模式識別方法，與此相應的模式識別系統(tǒng)都是有兩個過程（設計與實現(xiàn)）所組成?！霸O計”是指用一定數(shù)量的樣本（訓練集/學習集）進行分類器的設計。“實現(xiàn)”是指用所設計的分類器對待識別的樣本進行分類決策。基于統(tǒng)計模式識別的系統(tǒng)

96、主要由以下幾個部分組成：信息獲取、預處理、特征提取和選擇、分類決策，如圖4－1所示。</p><p><b>　　1．信息獲取</b></p><p>　　為了使計算機能夠對各種現(xiàn)象進行分類識別，要用計算機可以運算的符合來表示所研究的對象，通常輸入對象的信息有下列3種類型，即</p><p><b>　?。?）二位圖像</b&g

97、t;</p><p>　　如文字、指紋、地圖、照片這類對象。</p><p><b>　?。?）一維波形</b></p><p>　　如腦電圖、L1電圖、機械震動波形等。</p><p>　?。?）物理參量和邏輯值</p><p>　　前者如在疾病診斷中病人的體溫及各種化驗數(shù)據(jù)等；后者如對某參量正

98、常與否的判斷或對癥狀有無的描述，如疼與不疼，可用邏輯值即0和1表示。在引入模糊邏輯的系統(tǒng)中，這些還可以包括模糊邏輯值，比如很大、大、比較大等。</p><p>　　通過測量、采樣和量化，可以用矩陣或向量表示二維圖像或一維波形。這就是信息獲取的過程。</p><p><b>　　2．預處理</b></p><p>　　預處理的目的是去除噪聲，加強

99、有用的信息，并對輸入測量儀器或其它因素所造成的退化現(xiàn)象進行復原。</p><p><b>　　3．特征提取和選擇</b></p><p>　　由圖像或波形所獲得的數(shù)據(jù)量是相當大的。例如，一個文字圖像可以有幾千個數(shù)據(jù)，一個心電圖波形也可能有幾千個數(shù)據(jù)，一個衛(wèi)星遙感圖像的數(shù)據(jù)量就更大。為了有效地實現(xiàn)分類識別，就要對原始數(shù)據(jù)進行變換，得到最能反映分類本質的特征。這就是特征提

100、取和選擇的過程。</p><p><b>　　4．分類決策</b></p><p>　　分類決策就是在特征空間中使用統(tǒng)計方法把被識別對象歸為某一類別。基本做法是在樣本訓練集基礎上確定某個判決規(guī)則，使按這種判決規(guī)則對被識別對象進行分類所造成的錯誤識別率最小或引起的損失最小。</p><p>　　4.2手寫體數(shù)字識別</p><

101、p><b>　　4.2.1課題概述</b></p><p>　　手寫體數(shù)字識別是計算機模式識別領域的一個前沿課題。隨著信息化的發(fā)展， 手寫數(shù)字識別的應用需求將會更加廣泛。</p><p>　　文字是人們相互交流的主要工具，從圖的角度看，它是簡單的圖形；從技術上看，文字圖形的識別相對比較簡單，易于處理和分類。進行字符識別可完成諸如文本和數(shù)據(jù)的自動閱讀、語言處理和機

102、器翻譯、郵件自動分揀、識別銀行支票等復雜工作，極大的方便人們的生活。目前，文字識別一般是識別字母、數(shù)字、符號、漢字；按所識別的字體來分有印刷體文字識別、手寫體文字識別及符號的識別系統(tǒng)。本文主要介紹在手寫體數(shù)字識別中采用的方法和取得的結果。</p><p>　　一般來說, 字符識別系統(tǒng)主要包括圖象采集、信號預處理、特征抽取、分類識別等幾個部分。識別系統(tǒng)的識別方式可分為聯(lián)機手寫體字符識別、脫機印刷體字符識別和脫機手寫

103、體字符識別等, 其中脫機手寫體字符由于書寫者的因素,使其字符圖象的隨意性很大, 例如, 比劃的粗細、字體的大小、手寫體的傾斜度、字符比劃的局部扭曲變形、字體灰度的差異等都直接影響到字符的正確識別。所以手寫體字符的識別是字符識別領域內(nèi)最具挑戰(zhàn)性的課題。在經(jīng)濟、科技、社會生活各領域的信息傳遞中，各種通信、財金、科技等文件文本中有大量手寫體阿拉伯數(shù)字。為了不用手工敲鍵而能快速輸入計算機進行自動化處理，就要對手寫體數(shù)字進行計算機自動識別。<

104、;/p><p>　　4.2.2手寫體數(shù)字識別的主要方法</p><p>　　文字識別按其方法，大致可分為統(tǒng)計決策法、句法結構法、模糊決策法、人工智能法、模板匹配法等。下面對部分方法予以簡單介紹。</p><p><b>　　1．模板匹配法</b></p><p>　　模板匹配法即對每個待識別的類別所給出的識別標準是典型的標準

105、模板。此類方法的重點是規(guī)定各類模板的特征(例如規(guī)定模板中黑色面積值為特征) ，求得待識別樣本的特征值，并求出它與標準模板的差值，若差值小于規(guī)定的閾值(即與此模板“匹配”) 即判為屬于該模板相應的字。待識別樣本的特征可不止一個，它們可作為一個向量中的各元而組成特征向量。這類方法適宜印刷體符號、文字等的識別。</p><p><b>　　2．統(tǒng)計決策法</b></p><p&

106、gt;　　在有些識別問題中，不易給出一典型的模板，而只能給出一批彼此間有相當差異的模板(或稱學習字樣) ，用統(tǒng)計的方法推出識別標準，并根據(jù)它來判別類別，此稱為統(tǒng)計決策法。例如待識別的是手寫體數(shù)字7 和8 ，由于屬于手寫，可能出現(xiàn)多種形狀，將這些在變形范圍之內(nèi)的字形搜集起來可以作為推出識別標準的資料，即供識別設備學習的樣本。</p><p><b>　　3．句法結構法</b></p>

107、;<p>　　句法方法，其識別標準是代表待識別對象的“符號串”之間的聯(lián)系規(guī)律，或稱為文法律。將字樣按照一定的規(guī)律作折線化處理，分解為有順序的折線段，并把每個折線段都附上一定的方向值，便可把字樣用符號串來表示。由于在書寫上有一定的變形，不同的符號串可能代表同一字類，所以要識別某一字類，便應了解所有代表此字的符號串之間所存在的聯(lián)系規(guī)則，即句法規(guī)律或文法律。</p><p><b>　　4．直接

108、邏輯法</b></p><p>　　對于有些識別問題，所給出的識別標準是一批特征值之間的分類條件式，根據(jù)這些條件式可以編制出供判決用的表格，再將此表化成一系列簡單的子表或與它們等效的能表示判決過程的判決樹，此即為直接邏輯法。根據(jù)子表系列或判決樹很容易編寫判決(識別) 所用的計算機程序，用以判類。</p><p><b>　　5．綜合識別法</b></

109、p><p>　　手寫數(shù)字多種識別方法的綜合是將不同識別方法的結果經(jīng)某種算法進行綜合，以提高識別率和可靠率。</p><p>　　手寫數(shù)字綜合智能識別系統(tǒng)結構框圖如圖4－2所示。</p><p>　　圖4－2 　手寫數(shù)字綜合智能識別系統(tǒng)結構框圖</p><p>　　4.2.3手寫數(shù)字識別的一般方法及其難點</p><p>　

110、　字符識別問題的研究已有幾十年的歷史了，但時至今日，字符識別的研究成果遠未達到人們所期望的，這其中有理論研究和技術實現(xiàn)等多方面因素. 在理論方面，我們對人類的視覺認知機理的研究還只是初步的，遠未達到深入和透徹的水平。在技術方面，我們使用的計算機的運算水平和存儲能力， 比起人腦的信息存儲和處理能力有很大差距. 因此，目前的文字識別只能建立在現(xiàn)有的理論基礎上，使用現(xiàn)有的技術來研究和解決問題。手寫體數(shù)字識別是字符識別的一個分支，問題雖然簡單，

111、但卻有較大的實用價值。</p><p>　　數(shù)字的類別只有10 種，筆劃又簡單，其識別問題表面上是一個較簡單的分類問題。但實際上，雖然各種新的識別算法不斷的推出。其識別率和誤識率仍距實用有相當距離。手寫阿拉伯數(shù)字具有變形多差異大的特點，字形與書寫人的職業(yè)、文化程度、書寫習慣以及所使用筆墨紙張所處環(huán)境等都有關，所以手寫體數(shù)字變形多、規(guī)律復雜。具體地說： </p><p>　　1．0～ 9 十