BP神經(jīng)網(wǎng)絡(luò)方法對車牌照字符的識別畢業(yè)設(shè)計(jì)

《BP神經(jīng)網(wǎng)絡(luò)方法對車牌照字符的識別畢業(yè)設(shè)計(jì)》由會員分享，可在線閱讀，更多相關(guān)《BP神經(jīng)網(wǎng)絡(luò)方法對車牌照字符的識別畢業(yè)設(shè)計(jì)（71頁珍藏版）》請?jiān)谘b配圖網(wǎng)上搜索。

武漢科技大學(xué)本科畢業(yè)設(shè)計(jì)(論文)第 I 頁摘 要為了對車牌字符的識別，本文將 BP 神經(jīng)網(wǎng)絡(luò)應(yīng)用于汽車車牌的自動識別，在車牌圖像進(jìn)行預(yù)處理后的基礎(chǔ)上，重點(diǎn)討論了用 BP 神經(jīng)網(wǎng)絡(luò)方法對車牌照字符的識別。 首先將訓(xùn)練樣本做圖像預(yù)處理，對車牌上的字符進(jìn)行分割，得到單個(gè)字符。對大小不一的字符做歸一化后，對字符進(jìn)行特征提取，把長為 15，寬為 25 的歸一化后的圖像中的字符信息提取出來，圖像中白點(diǎn)置為 0，圖像中的黑點(diǎn)置為 1，這樣就得到了 15×25 的特征向量，這個(gè)特征向量記錄的就是字符的特征。把這個(gè)特征向量送到 BP 網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，得到了訓(xùn)練好的權(quán)值，把他保存到“win.dat”和“whi.dat”中。然后打開要識別的圖片（即車牌） ，對圖像進(jìn)行預(yù)處理后就可以識別了。識別率也在 90%以上，表明該方法的有效性。關(guān)鍵字：車牌識別；LPR；字符識別；特征提取； BP 神經(jīng)網(wǎng)絡(luò)；武漢科技大學(xué)本科畢業(yè)設(shè)計(jì)(論文)第 II 頁AbstractFor the discernment to the number plate character, this text applies BP neural network to the automatic discernment of the automobile number plate, on the basis that the number plate picture goes on in advance treated , is it use BP neural network method to car discernment , license plate of character to discuss especially. Will train samples to do the pretreatment of the picture at first, character in number plate cut apart, get the individual character. After making normalization to the character not of uniform size, drew the characteristic to the character 15, wide to draw out for character information of 25 picture behind the normalization, picture white point it puts to be 0, black point of picture is it as 1 , receive 15* 25 characteristic vector quantity like this to put, what the vector quantity of this characteristic is written down is the characteristic of the character . Send the characteristic vector quantity BP network train, get good right value of training, keep him in win.dat and whi.dat. Open picture (namely number plate) discerned to want, go on to picture in advance treated to can discern. The discerning rate is above 90% too; show the validity of this method.Key word：The number plate discerning；The character discerning；LPR；The characteristic is drawn；BP neural network；武漢科技大學(xué)本科畢業(yè)設(shè)計(jì)(論文)第 III 頁目 錄摘要.ⅠABSTRACT.Ⅱ第一章 概述.11.1 基本概念 11.2 字符識別簡介 21.2.1 字符識別發(fā)展概況 .21.2.2 字符識別系統(tǒng)用到的方法 .31.2.3 字符識別原理.41.3 國內(nèi)外研究現(xiàn)狀和發(fā)展趨勢 51.4 基于神經(jīng)網(wǎng)絡(luò)的字符識別系統(tǒng) 61.4.1 系統(tǒng)簡介61.4.2 系統(tǒng)的基本技術(shù)要求71.4.3 系統(tǒng)的軟硬件平臺.7第二章 字符識別系統(tǒng)中的關(guān)鍵技術(shù).82.1 特征提取 82.1.1 基本概念82.1.2 區(qū)域內(nèi)部的數(shù)字特征 .102.1.3 基于邊界的形狀特征 .132.2 神經(jīng)網(wǎng)絡(luò) 182.2.1 人工神經(jīng)元 182.2.2 人工神經(jīng)網(wǎng)絡(luò)構(gòu)成 .222.2.3 人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則232.2.4 BP 神經(jīng)網(wǎng)絡(luò) .24第三章 系統(tǒng)的實(shí)現(xiàn).313.1 系統(tǒng)流程圖 313.2 程序?qū)崿F(xiàn) 313.3 程序的總體框架 36第四章 系統(tǒng)使用說明、測試及注意事項(xiàng).37武漢科技大學(xué)本科畢業(yè)設(shè)計(jì)(論文)第 IV 頁4.1 系統(tǒng)使用說明 374.2 系統(tǒng)測試 394.2.1 數(shù)字識別 394.2.2 字母識別 404.2.3 漢字識別 404.2.4 車牌識別 414.3 注意事項(xiàng) 41第五章 結(jié)論和展望.42致謝.43參考文獻(xiàn).44外文原文與譯文.46? 外文原文46? 譯文57武漢科技大學(xué)本科畢業(yè)設(shè)計(jì)(論文)第 0 頁第一章 概 述1.1 基本概念隨著 21 世紀(jì)經(jīng)濟(jì)全球化和信息時(shí)代的到來，計(jì)算機(jī)技術(shù)、通信技術(shù)和計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)迅猛發(fā)展，自動化的信息處理能力和水平不斷提高，并在人們社會活動和生活的各個(gè)領(lǐng)域得到廣泛應(yīng)用。高速度、高效率的生活節(jié)奏，使汽車普及成為必然趨勢，交通管理自動化越來越成為亟待解決的問題。在這種情況下，作為信息來源的自動檢測、圖像識別技術(shù)越來越受到人們的重視。目前指紋識別、視網(wǎng)膜識別技術(shù)已經(jīng)到了實(shí)用階段；聲音識別技術(shù)發(fā)展也相當(dāng)快，而對汽車牌照等相關(guān)信息的自動采集和管理對于交通車輛管理、園區(qū)車輛管理、停車場管理、交警稽查等方面有著十分重要的意義，成為信息處理技術(shù)的一項(xiàng)重要研究課題。車輛牌照識別（License Plate Recognition, LPR）技術(shù)作為交通管理自動化的重要手段，其任務(wù)是分析、處理汽車監(jiān)控圖像，自動識別汽車牌號，并進(jìn)行相關(guān)智能化數(shù)據(jù)庫管理。LPR 系統(tǒng)可以廣泛應(yīng)用于高速公路電子收費(fèi)站、出入控制、公路流量監(jiān)控、失竊車輛查詢、停車場車輛管理、公路稽查、監(jiān)測黑牌機(jī)動車、監(jiān)控違章車輛的電子警察等需要車牌認(rèn)證的重要場合，尤其在高速公路收費(fèi)系統(tǒng)中，實(shí)現(xiàn)不停車收費(fèi)技術(shù)可提高公路系統(tǒng)的運(yùn)行效率，LPR 系統(tǒng)更具有不可替代的作用，因而對 LPR 車牌識別技術(shù)的研究和應(yīng)用系統(tǒng)開發(fā)具有重要的現(xiàn)實(shí)意義。LPR 系統(tǒng)中的兩個(gè)關(guān)鍵子系統(tǒng)是車牌定位系統(tǒng)和車牌字符分割識別系統(tǒng)。關(guān)于車牌識別技術(shù)及定位系統(tǒng)研究，國內(nèi)外學(xué)者已經(jīng)作了大量工作，但實(shí)際效果并不理想，對輔助光源要求高，很難有效解決復(fù)雜背景下多車牌識別的技術(shù)難題，如：車牌圖像的傾斜、車牌表面污穢或磨損、光線干擾等都會影響定位的準(zhǔn)確性。傳統(tǒng)車牌識別一般僅支持單一車輛，背景比較簡單。而當(dāng)今許多實(shí)際應(yīng)用場合，如在繁忙交通路口臨時(shí)對欠稅費(fèi)報(bào)廢掛失等車輛的稽查，則監(jiān)視區(qū)域比較復(fù)雜，現(xiàn)有識別方法無法直接應(yīng)用，一般同時(shí)出現(xiàn)多輛汽車，背景有廣告牌、樹木、建筑物、斑馬線以及各種背景文字等。武漢科技大學(xué)本科畢業(yè)設(shè)計(jì)(論文)第 1 頁車牌定位與識別方法，總體來說是圖像處理技術(shù)與車牌本身特點(diǎn)的有機(jī)結(jié)合，當(dāng)然也包括小波分析、神經(jīng)網(wǎng)絡(luò)、數(shù)學(xué)形態(tài)學(xué)、模糊理論等數(shù)學(xué)知識的有效運(yùn)用。一個(gè)車牌定位與識別系統(tǒng)基本包括：圖像預(yù)處理、車牌搜索、車牌定位、車牌校正、車牌字符分割和字符識別結(jié)果的輸出。本系統(tǒng)主要是在對汽車圖像進(jìn)行細(xì)致分析，從而研究車牌定位與識別的算法問題。1.2 字符識別簡介1.2.1 字符識別發(fā)展概況字符識別發(fā)展可分為三個(gè)階段：第一個(gè)階段為初級階段，在這一階段中，技術(shù)上是應(yīng)用一維圖像的處理方法完成二維圖像的識別任務(wù)。這樣萌芽了一個(gè)基本思想—抽取特征向量的構(gòu)造和它的相關(guān)函數(shù)?，F(xiàn)在此法仍不失為一種重要的匹配方法。第二個(gè)階段為基礎(chǔ)理論研究階段。提出了表示邊界的鏈碼法，用于結(jié)構(gòu)分析的細(xì)化思想，以及一些離散圖形上的拓?fù)湫匝芯?，形成了不僅能抽取局部特征， 而且能抽取大范圍的凹凸區(qū)域、連通性、孔等特征的算法，完成了作為基礎(chǔ)理論核心的“特征抽取理論” ，及所謂的 K-L 展開法工作。第三個(gè)階段為發(fā)展階段。這一階段的研究工作是技術(shù)和實(shí)際相結(jié)合，針對實(shí)際系統(tǒng)的要求和設(shè)備可能提供的條件，提出了更為復(fù)雜的技術(shù)。但就多種方法分類來說為二大方法：相關(guān)法和構(gòu)造解析法。在這兩類方法的基礎(chǔ)上，已研究出了不同類各具特色的實(shí)用系統(tǒng)。字符識別系統(tǒng)根據(jù)輸入設(shè)備的不同有如下分類 [19]，如圖 1.1 所示：武漢科技大學(xué)本科畢業(yè)設(shè)計(jì)(論文)第 2 頁目前開展比較多，并進(jìn)入實(shí)用階段的是光學(xué)字符識別系統(tǒng) (OCR 系統(tǒng))。日本雖說起步不是最早，但因投入了大量的人力和物力，目前處于世界領(lǐng)先地位。七五年日本擁有 650 臺光學(xué)字符識別機(jī)，進(jìn)入了實(shí)用階段。到一九七八年，能閱讀英文字母、數(shù)字、片假名和平假名等 118 種 OCRT0300 上市。之后，其研究方向轉(zhuǎn)向了漢字識別。我國是從七十年代開始字符研究的。一九七八年，中科院自動化研究所等合作研制出了“倍函自動化分檢機(jī)” ，可識別 0～9 個(gè)數(shù)字；一九八七年清華大學(xué)研制的漢字識別系統(tǒng)通過了技術(shù)鑒定，可識別國家二級漢字庫 6000 多字，識別率可達(dá) 99%，速度為 1 字/4 秒；一九八七年十二月，西安交大人工智能和機(jī)器人研究所研制的漢字識別系統(tǒng)也通過了技術(shù)鑒定，同樣可識別漢字 6000 多，識別速度可達(dá) 1 字/1 秒，識別率達(dá) 98%以上，處于國內(nèi)領(lǐng)先地位。這都為字符識別的實(shí)際應(yīng)用提供了廣闊的前景。1.2.2 字符識別系統(tǒng)用到的方法字符識別系統(tǒng)用到的方法很多。下面以表格的形式，其用到的方法作一簡單的介紹和比較。統(tǒng)計(jì)決策 句法結(jié)構(gòu) 模糊判決 邏輯推理 神經(jīng)網(wǎng)絡(luò)主要理 概率論 形式語言 模糊數(shù)學(xué) 演繹邏輯 神經(jīng)生理學(xué)字符識別磁識別 光學(xué)識別 機(jī)械識別在線識別 脫機(jī)識別單個(gè)字符識別 連筆字符識別印刷體字符識別手寫體字符識別圖 1.1 字符識別分類表 1.1 幾種識別方法的比較武漢科技大學(xué)本科畢業(yè)設(shè)計(jì)(論文)第 3 頁論支柱 數(shù)理統(tǒng)計(jì) 自動機(jī)技術(shù) 布爾代數(shù)模式描述方法 特征向量符號串、樹、圖 模糊集合字符串表示的事實(shí)以不同活躍度表示的輸入結(jié)點(diǎn)集模式類判定是一個(gè)聚合類。用條件概率分布 P(X| wi)表示，m 類就有m 個(gè)分布，然后判定未知模式屬于哪一個(gè)分布。是一種語言。用一個(gè)文法表示一類，m類就有 m 個(gè)文法，然后判定未知模式遵循哪一個(gè)文法。是一種集合運(yùn)算。用隸屬度將模糊集合劃分為若干子集，m 類就有 m 個(gè)子集，然后根據(jù)擇近原則分類。是一種布爾演算。從事實(shí)出發(fā)運(yùn)用一系列規(guī)則，推理得到不同結(jié)果，m 類就有 m 個(gè)結(jié)果。是一個(gè)非線性動態(tài)系統(tǒng)。通過對樣本的學(xué)習(xí)建立起記憶，然后將未知模式判決為其最接近的記憶。主要方法幾何分類：線性分類、非線性分類統(tǒng)計(jì)分類：Bayes決策無教師的分類：聚類分析自動機(jī)技術(shù)CYK 剖析算法Early 算法轉(zhuǎn)移圖法隸屬度函數(shù)的設(shè)計(jì)：模糊設(shè)計(jì)法二元對比排序法推理法模糊集運(yùn)算規(guī)則模糊矩陣產(chǎn)生式推理語義網(wǎng)推理框架推理BP 模型HOP 模型高階網(wǎng)主要優(yōu)缺點(diǎn)優(yōu)點(diǎn)：比較成熟，能考慮干擾、噪聲等影響，識別模式基元能力強(qiáng)。缺點(diǎn)：對結(jié)構(gòu)復(fù)雜的模式抽取特征困難。不能反映模式的結(jié)構(gòu)特征，難以描述模式的性質(zhì)，難以從整體考慮識別問題。優(yōu)點(diǎn)：識別方便，可從簡單的基元開始，由繁至簡。能反映模式的結(jié)構(gòu)特性，能描述模式的性質(zhì)，對圖像的畸變的抗干擾能力較強(qiáng)。缺點(diǎn)：當(dāng)存在干擾及噪聲時(shí)，抽取基元困難，且易失誤。優(yōu)點(diǎn)：由于用隸屬度函數(shù)作為樣品與模板間相似度的度量，故往往能反映它們整體的與主要的特性，從而允許樣品有相當(dāng)?shù)母蓴_與畸變。缺點(diǎn)：準(zhǔn)確合理的隸屬度往往難以建立，故限制了它的應(yīng)用。優(yōu)點(diǎn)：已建立了關(guān)于知識表示及組織，目標(biāo)搜索及匹配的完整體系。對需同過眾多規(guī)則的推理達(dá)到目標(biāo)確認(rèn)的問題，有很好的效果。缺點(diǎn)：當(dāng)樣品有缺損，背景不清晰，規(guī)則不明確甚至有歧義時(shí)，效果不好。優(yōu)點(diǎn)：可處理一些環(huán)境信息十分復(fù)雜，背景知識不清楚，推理規(guī)則不明確的問題。允許樣品有較大的缺損和畸變。缺點(diǎn)：模型在不斷豐富與完善中，目前能識別的程式類還不夠多。武漢科技大學(xué)本科畢業(yè)設(shè)計(jì)(論文)第 4 頁1.2.3 字符識別原理近年來，字符識別逐漸成為模式識別領(lǐng)域內(nèi)的一個(gè)重要分支。和其他模式識別的應(yīng)用一樣，字符識別的基本思想也是匹配判別。抽取代表未知字符模式本質(zhì)的表達(dá)形式 (如各種特征) 和預(yù)先存儲在機(jī)器中的標(biāo)準(zhǔn)字符模式表達(dá)形式的集合 (稱為字典) 逐一匹配，用一定的準(zhǔn)則進(jìn)行判別，在機(jī)器存儲的標(biāo)準(zhǔn)字符模式表達(dá)形式的集合中，找出最接近輸入字符模式的表達(dá)形式，該表達(dá)形式對應(yīng)的字就是識別結(jié)果。字符識別的原理框圖如圖 1.2。字符識別的原理如上圖所示。文字經(jīng)光電掃描，模數(shù)轉(zhuǎn)換為帶灰度值的數(shù)字信號送至預(yù)處理環(huán)節(jié)。預(yù)處理的內(nèi)容和要求取決于識別方法，一般包括行字切分，二值化，規(guī)范化等。經(jīng)過預(yù)處理，字符模式成為規(guī)范化的二值數(shù)字點(diǎn)陣信息。對該二值化漢字點(diǎn)陣，抽取一定的表達(dá)形式后，與存儲在字典中已知的標(biāo)準(zhǔn)字符表達(dá)形式匹配判別，就可識別出輸入的未知字符。圖 1.3 中點(diǎn)劃線以下是識別系統(tǒng)的學(xué)習(xí)部分。學(xué)習(xí)是根據(jù)多個(gè)未知字樣抽取出模式表達(dá)形式，自動構(gòu)造或修改充實(shí)字典，不斷提高系統(tǒng)識別率。字符的模式表達(dá)形式和相應(yīng)的字典形式有多種，每種形式又可以選擇不同的特征，每種特征又有不同的抽取方法。這些就使得判別方法和準(zhǔn)則以及所用的數(shù)學(xué)工具不同，形成了種類繁多，形式各異的字符識別方法。1.3 國內(nèi)外研究現(xiàn)狀和發(fā)展趨勢車牌識別技術(shù)自 1988 年以來，人們就對它進(jìn)行了廣泛的研究，目前國內(nèi)外圖 1.2 字符識別的原理框圖預(yù) 處 理 模式表達(dá) 判 別字 典學(xué) 習(xí)識別部分學(xué)習(xí)部分教師字符圖像武漢科技大學(xué)本科畢業(yè)設(shè)計(jì)(論文)第 5 頁已經(jīng)有眾多的算法，一些實(shí)用的 LPR 技術(shù)也開始用于車流監(jiān)控、出入控制、電子收費(fèi)、移動稽查等場合。然而，無論是 LPR 算法還是 LPR 產(chǎn)品幾乎都存在一定的局限性，都需要適應(yīng)新的要求而不斷完善，如現(xiàn)有系統(tǒng)幾乎都無法有效解決復(fù)雜背景下的多車牌圖像分割定位與有效識別的技術(shù)障礙，另外也很難適應(yīng)全天候復(fù)雜環(huán)境及高速度的要求。車牌字符識別實(shí)際上是依附在車牌上的印刷體文字的識別，能否正確識別不僅是文字識別技術(shù)的問題，還是考慮其載體——車牌區(qū)域的影響。車牌字符識別技術(shù)是文字識別技術(shù)與車牌圖像自身因素協(xié)調(diào)兼顧的綜合性技術(shù)。由于攝像機(jī)的性能、車牌的整潔度、光照條件、拍攝時(shí)的傾斜角度及車輛運(yùn)動等因素的影響使牌照中的字符可能出現(xiàn)比較嚴(yán)重的模糊、歪斜、缺損或污跡干擾，這些都給字符識別帶來了難度。盡管如此，我國依然有大量的學(xué)者從事車牌字符識別研究，文獻(xiàn)給出了基于神經(jīng)網(wǎng)絡(luò)的車牌識別方法，對于解析度較高和圖像比較清晰的車牌，這些方法能有效識別車牌中的字符，但對于較低解析度和較為模糊的車牌無能為力，因?yàn)檫@些方法只有在車牌中的每個(gè)字符被獨(dú)立分割出來的前提下才能完成識別工作。而獨(dú)立分割車牌取得字符，對較低解析度和較為模糊的車牌來說是非常困難的。車牌字符識別的研究在技術(shù)上已經(jīng)取得了一定突破，然而離復(fù)雜多變的實(shí)際應(yīng)用要求還有一定差距，許多新方法僅停留在理論和文章上或者限定在比較狹窄的約束范圍內(nèi)，并不能以產(chǎn)品的形式大范圍投入使用。因而車牌字符識別的實(shí)用化研究仍然有很長的路要走。目前的車牌識別方法主要是針對車輛自動緩?fù)Ｊ召M(fèi)、停車場管理等場合，所監(jiān)視的區(qū)域一般只有單一車輛，背景也比較簡單。而如今的許多實(shí)際應(yīng)用場合，監(jiān)視區(qū)域比較復(fù)雜，現(xiàn)有的方法無法直接應(yīng)用。比如在移動交警稽查、高速公路的監(jiān)視與監(jiān)控、城市交通要道的監(jiān)視與監(jiān)控，所監(jiān)控的區(qū)域一般會同時(shí)出現(xiàn)多輛汽車，背景也比較復(fù)雜，有廣告牌、樹木、建筑物、斑馬線以及各種背景文字等。所以本課題針對這種情況創(chuàng)新性的提出了一種復(fù)雜背景下多車牌定位分割與識別方法，并考慮了彩色分割與 ColorLP 算法，這也是當(dāng)前車牌圖像識別的發(fā)展趨勢。當(dāng)然，車牌識別系統(tǒng)的具體應(yīng)用發(fā)展也很迅猛，從原來的停車靜止拍攝場景應(yīng)用，如收費(fèi)站、停車場等，發(fā)展到移動公路車輛稽查、違章自動報(bào)警、超載闖紅燈等實(shí)時(shí)監(jiān)控場合應(yīng)用，增加神經(jīng)網(wǎng)絡(luò)自適應(yīng)識別學(xué)習(xí)訓(xùn)練功能，對于武漢科技大學(xué)本科畢業(yè)設(shè)計(jì)(論文)第 6 頁系統(tǒng)響應(yīng)的速度、網(wǎng)絡(luò)化、智能化、識別成功率等實(shí)用化要求也越來越高。隨著上述核心技術(shù)的研究發(fā)展，應(yīng)用領(lǐng)域和功能等也獲得大幅提高。1.4 基于神經(jīng)網(wǎng)絡(luò)的字符識別系統(tǒng)1.4.1 系統(tǒng)簡介該系統(tǒng)是為了辨認(rèn)識別圖像中的字符而設(shè)計(jì)的，它通過對圖片的一系列處理，最后識別得出圖片中顯示的字符。 系統(tǒng)即可以單獨(dú)使用，也可以把它作為一個(gè)識別系統(tǒng)的軟件核心應(yīng)用到車牌識別系統(tǒng)中去。1.4.2 系統(tǒng)的基本技術(shù)要求下面是系統(tǒng)具體要達(dá)到的基本技術(shù)要求1.輸入圖片中可以含有多個(gè)字符；2.字符的識別準(zhǔn)確率大于90%；3.每張圖片的處理時(shí)間（識別時(shí)間）不能大于1S；4.對圖片噪聲具有較強(qiáng)的適應(yīng)性；5.系統(tǒng)要能長時(shí)間無故障的運(yùn)行；6.系統(tǒng)的操作要求簡單；1.4.3 系統(tǒng)的軟硬件平臺(1).系統(tǒng)的軟件平臺因?yàn)橄到y(tǒng)運(yùn)行的過程當(dāng)中，主要進(jìn)行的都是圖象處理，在這個(gè)過程當(dāng)中要進(jìn)行大量的數(shù)據(jù)處理，所以處理器和內(nèi)存要求比較高，CUP要求主頻在600HZ及其以上，內(nèi)存在128MB及其 以上。(2).系統(tǒng)的軟件平臺系統(tǒng)可以運(yùn)行于 Windows 98, Windows2000, Windows XP 或者 Windows 2003 操作系統(tǒng)下。程序調(diào)試時(shí)，需要使用 Microsoft Visual C++ 6.0（SP6）。武漢科技大學(xué)本科畢業(yè)設(shè)計(jì)(論文)第 7 頁第二章 字符識別系統(tǒng)中的關(guān)鍵技術(shù)2.1 特征提取圖像處理的高級階段是數(shù)字圖像分析（也對以稱為圖像理解） ，主要使用計(jì)算機(jī)系統(tǒng)，從圖像中提取有用的數(shù)據(jù)或信息，生成非圖像的描述或表示，如數(shù)值、符號等，即抽取圖像特征，從而識別視覺圖像。為了能讓計(jì)算機(jī)系統(tǒng)認(rèn)識圖像，人們首先必須尋找出算法，分析圖像的特征，然后將其特征用數(shù)學(xué)的辦法表示出來并教會計(jì)算機(jī)也能讀懂這些特征。這樣，計(jì)算機(jī)才能具有認(rèn)識或者識別圖像的本領(lǐng)，稱圖像模式識別，也叫圖像識別。要使計(jì)算機(jī)具有識別的本領(lǐng)，首先要得到圖像的各種特征，即特征提取。圖像特征是指圖像的原始特性或?qū)傩浴Ｃ恳环鶊D像都有其本身的特征，其中有些是視覺直接感受到的自然特征，如亮度、邊緣的輪廓、紋理或色彩等；有些是需要通過變換或測量才能得到的人為特征，如譜、直方圖等。圖像特征提取的結(jié)果給出了某一具體的圖像中與其他圖像相區(qū)別的特征。例如，描述物體表面灰度變化的紋理特征，描述物體外形的形狀特征等。2.1.1 特征提取基本概念圖像識別是根據(jù)一定的圖像特征進(jìn)行的，顯然這些特征的選擇很重要，它強(qiáng)烈地影響到圖像識別分類器的設(shè)計(jì)、性能及其識別結(jié)果的準(zhǔn)確性。特征選擇錯(cuò)誤，分類就個(gè)能分得準(zhǔn)確，甚至無法分類。因此，特征選擇是圖像識別中的一個(gè)關(guān)鍵問題。由于實(shí)際問題中常常不容易找到那些最重要的特征，或者某些圖像特征還會隨著環(huán)境的變化而發(fā)生變化，這就使得特征的選擇和提取復(fù)雜化。特征選擇和提取的基本任務(wù)是如何從眾多特征中找出那些最有效的特征。在樣本數(shù)量不是很多的情況下，用很多特征進(jìn)行分類器設(shè)計(jì)，從計(jì)算復(fù)雜程度和分類器性能來看都是不適宜的。因此研究如何把高維特征寧間壓縮到低維特征空間以便有效地識別圖像成為一個(gè)重要的課題，例如手寫體文字識別的特征選擇的研究已將近半個(gè)世紀(jì)，但依然是一個(gè)研究的難點(diǎn)和熱點(diǎn)。武漢科技大學(xué)本科畢業(yè)設(shè)計(jì)(論文)第 8 頁為了進(jìn)行識別，需要把圖像從測量空間變換到維數(shù)大大減少的特征空間，被識別的圖像在這個(gè)特征空中就是由一個(gè)特征向量來表示。為了方便起見，對幾個(gè)經(jīng)常用道的有關(guān)名詞作一些說明。1. 特征形成 根據(jù)待識別的圖像，通過計(jì)算機(jī)產(chǎn)生一維原始特征，稱之為特征形成。2. 特征提取原始特征的數(shù)量很大，或者說圖像本身處于一個(gè)高維空間中，通過映射(或變換)的方法可以用低維空間來表示樣本，這個(gè)過程叫做特征提取。映射后的特征是原始特征某種組合。所謂特征提取在廣義上說是一種變換。3. 特征提取從一組特征中挑選出一些最有效的特征以達(dá)到降低特征空間維數(shù)的目的，這個(gè)過程叫做特征選擇。目前幾乎沒有解析的方法能夠知道特征的選擇，很多情況下，憑直覺的引導(dǎo)可以列出一些可能的特征表，然后用特征排序的方法計(jì)算不同特征的識別效率。利用其結(jié)果對表進(jìn)行刪減，從而選出若干最好的特征。良好的特征應(yīng)具備以下 4 個(gè)特點(diǎn)：(1) 可區(qū)別性。對屬于不同類的圖像來說，他們的特征應(yīng)具備明顯的差異。(2) 可靠性。對于不同類型的圖像，特征值應(yīng)該比較接近。例如，雜志封面的文字圖像的分割中，顏色是一個(gè)不好的特征。因?yàn)?，封面文字的顏色可以是各種色彩，盡管它們都屬于文字圖像。(3) 獨(dú)立性好。所選擇的特征之間彼此不相關(guān)。例如細(xì)胞的曲徑和細(xì)胞的面積高度相關(guān)，因?yàn)槊娣e大致與直徑的平方成正比。這兩個(gè)特征基本上反映的是相同的屬性，即細(xì)胞的大小。但是，有時(shí)相關(guān)性很高的特征組合起來可以減少噪聲干擾，它們一般不作為單獨(dú)的特征使用。(4) 數(shù)量少。圖像識別系統(tǒng)的復(fù)雜程度隨著系統(tǒng)維數(shù)（特征的個(gè)數(shù)）迅速增長。尤為重要的是用來訓(xùn)練分類器和測試結(jié)果的圖像樣本隨特征數(shù)量呈指數(shù)關(guān)系增長。而且，增加帶噪聲的特征或與現(xiàn)存特征相關(guān)性高的特征實(shí)際上會使識別系統(tǒng)的性能下降。武漢科技大學(xué)本科畢業(yè)設(shè)計(jì)(論文)第 9 頁實(shí)際應(yīng)用中特征提取過程往往包括：先測試一組自覺上合理的特征，然后減少成數(shù)目合適的滿意集。通常符合上述要求的理想特征是很少甚至沒有的。對計(jì)算機(jī)圖像識別系統(tǒng)而言，物體的形狀是一個(gè)賴以識別的重要特征。一個(gè)圖像形狀和結(jié)構(gòu)特征有兩種形式，一種是數(shù)字特征主要包括幾何屬性（如長短、面積、距離和凹凸特性等） ，統(tǒng)計(jì)屬性（如黑色像素點(diǎn)在垂直方向的投影）和拓?fù)鋵傩裕ㄈ邕B通、歐拉數(shù)） ；另一種是由字符串和圖等所表示的句法語言。它可以刻畫某一圖像不同部分之間的相互關(guān)系（如文字識別中的筆劃關(guān)系） ，也可以描述不同目標(biāo)間的關(guān)系。由于感興趣的是圖像的形狀和結(jié)構(gòu)特征，所以其灰度信息往往可以忽略，只要能將它與其他目標(biāo)或背景區(qū)分開來即可。常用的一種技術(shù)是二值化圖像，即將感興趣的部分（區(qū)域或邊界）標(biāo)以最大灰度級，把背景（也包括其他任何不感興趣的部分）標(biāo)以最小灰度級，通常為零。二值化圖像在形狀和結(jié)構(gòu)分析中占有很重要的地位，本節(jié)討論的算法如沒有特別說明都是基于二值化圖像的。2.1.2 區(qū)域內(nèi)部的數(shù)字特征1. 矩給定二維連續(xù)函數(shù) f(x,y)，下式定義了其 pq 階矩：(2.1)矩在文字識別中作為有效統(tǒng)計(jì)特征而被廣泛運(yùn)用，它之所以能被用來表征一幅二維圖像是基于下面的帕普利斯（Papoulis）惟一性定理：如果 f(x,y)是分段連續(xù)的，只在 xy 平面的有限部分中有非零值，則所有各階矩皆存在，并且矩序列{M pq}此才惟一地被 f(x,y)所確定，反之{M pq}也唯一地確正 f(x,y)。對一幅二值圖像{ f(x,y):i,j=0,1,2…N-1}來說，上述條件無疑可被滿足。因此，可定義其 pq 階矩為：Mpq=∑∑f(i,j)i pjq (2.2)不同 p、q 值下可以得到不同的圖像矩 Mpq。 ，常用的區(qū)域矩特征有以下幾個(gè)：(1) 質(zhì)心武漢科技大學(xué)本科畢業(yè)設(shè)計(jì)(論文)第 10 頁(2.3)(2) 中心矩 (2.4)(3) Hu 矩組 Hu 矩組是{m pq}個(gè)矩的函數(shù)，它滿足平移、旋轉(zhuǎn)不變性，因而可被廣泛地應(yīng)用于區(qū)域形狀識別中。M1=m20＋m 02M2=(m20－m 02)2＋4m 112M3=(m30－3m 12)2＋(3m 21+ m03)2M4=(m30＋m 12)2＋(m 21+ m03)2M5=( m30－m 12)( m30＋m 12) (m30＋m 12)2－3(m 21+ m03)2 ＋( 3m 12－m 03) (m21+ m03) 3(m30＋m 12)2－(m 21+ m03)2 M6=(m20－m 02) (m30＋m 12) 2 －(m 21+ m03)2 ＋4m 11 (m30＋m 12)(m21+ m03) M7=(3m12－m 30)( m30＋m 12) (m30＋m 12) 2 －3(m 21+ m03)2 ＋(3m21－m 30)( m21＋m 30) (m03＋m 12) 2 －3(m 12+ m03)2 如果上述的 7 個(gè) Hu 矩中的 mpq 用 來代替，則得到的矩還可以滿足尺度不變性。特別地，M 7 滿足鏡像對稱不變性。(4) 面積區(qū)域的面積定義為區(qū)域中的像素點(diǎn)數(shù)：(2.5) 其中 max 為一位圖像的最大灰度級。(5) 扁度扁度定義為區(qū)域的長短軸之比：(2.6) 根據(jù)帕普利斯的定理，將要無窮多的 mpq 序列才能確定 f(x,y)。在實(shí)際應(yīng)用武漢科技大學(xué)本科畢業(yè)設(shè)計(jì)(論文)第 11 頁中，這是不可能實(shí)現(xiàn)的，通常取前幾階矩即可，但是這會帶來誤差。2. 投影投影的示意圖如圖 2-1 所示。圖像的數(shù)為{f (x,y)}。S 為投影方向，t 為與其垂直的方向，t 與 x 軸夾角為 ?，則{f (x,y)} 沿著 S 的投影定義為：(2.7)當(dāng) ? 固定時(shí)，p(t, ?)為ｔ的函數(shù)，亦即一個(gè)一維波形。不斷地從 0~2∏變換?，可得到在不同方向上{f (x,y)}的投影。S y (x,y) t??? x圖 2.1 坐標(biāo)投影(t,s)與原坐標(biāo)系(x,y)間的對應(yīng)關(guān)系由投影定理，對滿足一定條件的{f (x,y)}， 如果知道全部方向上的{p(t, ?)}，就可以唯一地恢復(fù) {f (x,y)}，然而統(tǒng)矩方法一樣，獲得所有方向上的投影在實(shí)際應(yīng)用中是行不通的。通常取若干個(gè)特定方向上的投影作為以{f (x,y)}形狀特征度量，特別地，在 x 軸和 y 軸上的投影定義為：(2.8)(2.9)應(yīng)用投影定理，可以把二維圖像的問題轉(zhuǎn)變?yōu)橐痪S的曲線波形的問題。3．歐拉數(shù)圖像的歐拉數(shù)是圖像的一中拓?fù)湫再|(zhì)度量，它表明了圖的連通性。歐拉數(shù)定義為一個(gè)圖中或一個(gè)區(qū)域中的孔數(shù) H 和連接部分?jǐn)?shù) C 的差：E=C－H。對數(shù)字降像而言，如果圖像的背景用 0 標(biāo)記，目標(biāo)物體用 1 記，則歐拉數(shù)可用下式計(jì)算：武漢科技大學(xué)本科畢業(yè)設(shè)計(jì)(論文)第 12 頁(2.10)n(1)表明圖像中像素點(diǎn)均數(shù)目， 表示二位圖像中具有垂直相鄰兩個(gè) 1 標(biāo)記的狀態(tài)記數(shù)，n(1 1) 表示具有水平相鄰 1 標(biāo)記的狀態(tài)記數(shù)， 表示 4個(gè) 1 標(biāo)記相鄰的狀態(tài)記數(shù)。4.幾何特征(1) 面積和周長面積 S 和周長 L 是描述區(qū)域大小的基本特征。計(jì)算圖像中某個(gè)區(qū)域的面積以及該區(qū)域的周長，根據(jù)它們的比值可以分析或提取該區(qū)域所代表的圖像形狀特征。粗略地說，圖像中的區(qū)域面積Ｓ就是圖像中相同標(biāo)記的像素?cái)?shù)目。由于連續(xù)圖像采用離散的像素點(diǎn)描述時(shí)，產(chǎn)生了誤差。例如一個(gè)包含 50 個(gè)像素的對角線比一個(gè) 50 個(gè)像素的水平直線要長。因此，在計(jì)算血積的過程中對每一個(gè)不同像素模式加上不同的權(quán)值，以減少誤差。區(qū)域的周長二用區(qū)域中相鄰邊緣點(diǎn)間的距離之和來表示，同樣存在誤差補(bǔ)償?shù)膯栴}。(2) 圓形度 R圓形度用來表示目標(biāo)物體形狀接近圓形的程度，其計(jì)算公式為：(2.11)式中 S 為區(qū)域的面積，L 為周長，R 的取值范圍為 0〈R≤1，R 越人，則區(qū)域越接近圓形。以連續(xù)的圓形，正方形和正三角形為例，它們的圓形度 R 分別為：圓形 R＝1，正方形 R＝0.79，正三角形 R＝0.60。(3) 凹凸特性凹凸特性時(shí)區(qū)域的基本特性之一。區(qū)域的凹凸性可以通過以下方法進(jìn)行判別：區(qū)域內(nèi)任意兩像素間的連線穿過區(qū)域外的像素，則此區(qū)域?yàn)榘夹?。相反，區(qū)域內(nèi)任意兩像素間的連線不穿過區(qū)域外的像素，則稱為凸形。在粘連字符的切分和文字識別等領(lǐng)域，經(jīng)常利用宇符輪廓的凹凸特性分析其特征，2.1.3 基于邊界的形狀特征武漢科技大學(xué)本科畢業(yè)設(shè)計(jì)(論文)第 13 頁１．傅立葉描繪子對于邊界來說，最重要的是組成邊界的點(diǎn)的位置信息。灰度信息完全可以忽略。因此可以將邊界看成是直角坐標(biāo)下的點(diǎn)集構(gòu)成的曲線 y=f (x,y)，其中 x是橫坐標(biāo)，y 是縱坐標(biāo)?？衫酶盗⑷~變換描述 y=f (x,y)，這一方法稱為傅立葉描繪子。(1) Zahn 描繪子若以 y=f (x,y)直接進(jìn)行傅立葉交換，則變換的結(jié)果將與具體的 x 和 y 坐標(biāo)值有關(guān)，不能滿足平移和旋轉(zhuǎn)的不變性要求。為了解決這個(gè)問題，引入封閉曲線本身的內(nèi)稟參量構(gòu)造曲線方程，再做傅立葉交換。由于邊界通常是封閉曲線。設(shè) r 是順時(shí)針方向的封閉曲線。引入曲線本身的內(nèi)稟參量即曲線弧長 l 構(gòu)造曲線方程，它的參數(shù)表達(dá)式為z(l)=(x(l),y(l)) (2.12)式中 0≤l≤L，L 是曲線全長。曲線的初始點(diǎn)為 l＝0，?(l)是曲線弧長為 l的點(diǎn)的切線方向。定義：φ(l)= ?(l)－?(0) (2.13)則 φ(l)的變化規(guī)律可以描述封閉曲線的形狀，很明顯它是平移和旋轉(zhuǎn)不變的。由于 φ(l)不是一個(gè)周期函數(shù)，為將其變換為周期函數(shù)引入另一個(gè)變量則 t?[0,2Π]?？啥x為：φ*(t)= φ(tL/2Π)+t t?[0,2Π] (2.14)則 φ*(t)是[0,2Π]的周期函數(shù)，而且它對封閉曲線 r 的平移、旋轉(zhuǎn)和尺度都是不變的。構(gòu)造 r-φ*(t)間的對應(yīng)關(guān)系是一對一的，即介尺度變化下是相似的，如果反演 φ*(t)-r，則可得出一組相似的封閉曲線。由于 φ*(t)是周期函數(shù)，因此可用它的傅立葉系數(shù)來描述它，在[0,2Π]上展成傅立葉級數(shù)為：(2.15)其中：武漢科技大學(xué)本科畢業(yè)設(shè)計(jì)(論文)第 14 頁(2.16)(2.17)(2.18)其中 n=1,2,…。φ0V1Vm=V0V2△l m Vm-1 φ1V3φ2圖 2.2 數(shù)字圖像下的多邊形邊界數(shù)了圖像中，封閉曲線 r 通常是由折線構(gòu)成的多邊形或可用多邊形來近似。設(shè)多邊形頂為 v0,v1, …, vm-1, 邊 vi-1vi 的長度為△ li(I=1,2,…,m),如圖 2.2 所示。其中△l m 是邊界 vm-1 v0 之長。在每邊 vi-1vi 上， φ(l)為常數(shù)，設(shè) φi-1, 定義,則：(2.19)武漢科技大學(xué)本科畢業(yè)設(shè)計(jì)(論文)第 15 頁(2.20)(2.21)其中 n=1,2,…。這樣，區(qū)域邊界 r 就可用序列{a 0,a1,b1,a2,b2,…}進(jìn)行描述可刻畫。(2) Person—Fu 傅立葉描繪子上面求 an 和 bn 時(shí)，已經(jīng)指出對數(shù)了圖像而言，φ(l)是分段連續(xù)的，即在(v k-1,vk)邊上是常數(shù)，而在端點(diǎn)上是不連續(xù)的，存在跳變。這會導(dǎo)致傅立葉變換中產(chǎn)生高頻分量，因而在用 Zahn 描述時(shí)，常要較多的傅立葉級數(shù)，以保證信息不會有大的丟失。Person 和 Fu 將 r 與下面的復(fù)參量對應(yīng)：u(l)＝x(l)+iy(l)。其中 l 仍然是弧長，x(l)和 y(l)分別是曲線上點(diǎn)的橫坐標(biāo)及縱坐標(biāo)。相應(yīng)的傅立葉變換為：(2.22)(2.23)其中 ，v k 是多邊形第 k 個(gè)頂點(diǎn)的復(fù)數(shù)坐標(biāo)。經(jīng)過同 Zahn 方法類似的歸一化處理，{a n}對廣的平移、旋轉(zhuǎn)和尺度變換具有不變性。適當(dāng)?shù)厝a n}的前幾項(xiàng)就可在信息損失較小的前提下描述邊界 r。(a) 邊界的 8 種走向和對應(yīng)的方向碼 (b) 邊界產(chǎn)生的方向鏈碼圖 2.32.．鏈碼武漢科技大學(xué)本科畢業(yè)設(shè)計(jì)(論文)第 16 頁對于離散的數(shù)字圖像，區(qū)域的邊界輪廓可理解為相鄰邊界像素點(diǎn)之問的單元連線逐段相連而成?？紤]數(shù)字圖像像素點(diǎn)(x,y)的一個(gè) 8 鄰域，顯然在該點(diǎn)處的邊界只能在以下幾個(gè)方向：正東、東北、正北、西北、正面、西南、正南和東南，如圖 2.3(a)所示。對于每一種方向賦以一種碼表示，如上面 8 個(gè)方向分別對應(yīng)于 0、1、2、3、4、5、6 和 7，這些碼稱為方向碼。假設(shè)從某一個(gè)起點(diǎn)開始，將邊界的走向按上面的編碼方式記錄下來，可形成如下的序列 a1 a2 a3…an。a 1~ an 取值為 0~7，這一序列稱為鏈碼的方向鏈。再加上一些標(biāo)識碼，即可構(gòu)成鏈碼。從圖 2-3(b)可知，偶數(shù)鏈碼段為垂自或水平方向的代碼段，奇數(shù)鏈碼段為對角線段。對圖 2-3(b)所示的一個(gè)圖像區(qū)域，若以 S 點(diǎn)為出發(fā)點(diǎn)，按逆時(shí)針的方向進(jìn)行，所構(gòu)成的邊界鏈碼應(yīng)為556570700122333。當(dāng)然，也可以按順時(shí)針方向進(jìn)行，所構(gòu)成的邊界鏈碼完全不同逆時(shí)針方向行進(jìn)的情況。因此，邊界鏈碼具有行進(jìn)的方向性，在具體應(yīng)用時(shí)必須加以注意。有了鏈碼的方向鏈后，再加上一些標(biāo)識碼，即可構(gòu)成鏈碼。常用的標(biāo)識碼有兩種：(1) 加上特殊專用的鏈碼結(jié)束標(biāo)志。如采用“!”作為結(jié)束標(biāo)志，則圖 2-3(b)的鏈碼應(yīng)為 556570700122333!。(2) 標(biāo)上起始點(diǎn)的坐標(biāo)。如圖圖 2-3(b)的鏈碼為556570700122333xyz，xyz 為起始點(diǎn) S 的坐標(biāo)，用 3 位 8 進(jìn)制數(shù)表示。從鏈碼可以得出邊界的許多形狀特征：(1) 鏈的長度(2.24)其中。表示方向鏈中偶數(shù)碼的數(shù)目，此表示奇數(shù)碼的個(gè)數(shù)。奇數(shù)的用人的權(quán)重修正后，邊界的長度檢測時(shí)可以彌補(bǔ)圖像離散化的誤差。(2) 邊界所表示區(qū)域的寬度和高度設(shè)方向鏈為{a 1 a2 a3…an}，定義 ai 在 x 軸上的分量為 aix，在 y 軸上的分量為 aiy 則：ai=0 時(shí)， aix＝1，a iy＝0ai=1 時(shí)， aix＝1，a iy＝1武漢科技大學(xué)本科畢業(yè)設(shè)計(jì)(論文)第 17 頁ai=2 時(shí)， aix＝0，a iy＝1ai=3 時(shí)，a ix＝－1，a iy＝1ai=4 時(shí)，a ix＝－1，a iy＝0ai=5 時(shí)，a ix＝－1，a iy＝－1ai=6 時(shí)，a ix＝0，a iy＝－1ai=7 時(shí)，a ix＝1，a iy＝－1設(shè) x0 和 y0 是起始點(diǎn)的坐標(biāo)，則： (2.25)(2.26)(3) 鏈碼所包圍的區(qū)域面積：(2.27)(2.28)(4) 假如兩個(gè)像素點(diǎn)可由方向鏈聯(lián)接{a 1 a2 a3…an}，則這兩點(diǎn)的距離為：(2.29)上述的區(qū)域特征用鏈碼來計(jì)算，計(jì)算比較簡單。但是在描述形狀時(shí)，信息并不完全，這些數(shù)值特征與具體的形狀之間并不—一對應(yīng)。因此，不能只用這些數(shù)值進(jìn)行形狀識別，必須與其他特征信息相結(jié)合使用，作為補(bǔ)充信息，卻能大大提高系統(tǒng)的識別性能。2.2 神經(jīng)網(wǎng)絡(luò) 2.2.1 人工神經(jīng)元生物神經(jīng)網(wǎng)絡(luò)（BNN）信息傳遞過程為多輸入單輸出（MISO）系統(tǒng)，信號為脈沖，當(dāng)脈沖到達(dá)突觸前膜時(shí)，前膜釋放化學(xué)物質(zhì)，結(jié)果在突觸后產(chǎn)生突觸后電位，其大小與脈沖密度有關(guān)（時(shí)間總合效應(yīng)） ，并且各通道都對電位產(chǎn)生影響（空間總合效應(yīng)） 。ANN 等效模擬電壓近似 BNN 脈沖密度，僅有空間累加無時(shí)間武漢科技大學(xué)本科畢業(yè)設(shè)計(jì)(論文)第 18 頁累加（可認(rèn)為時(shí)間累加己隱含于等效模擬電壓之中） 。1．神經(jīng)元模型神經(jīng)元是人工神經(jīng)網(wǎng)絡(luò)的基本處理單元，它一般是一個(gè)多輸入/多輸出的非線性元件。神經(jīng)元輸出除受輸入信號的影響之外，同時(shí)也受到神經(jīng)元內(nèi)部其他因素的影響，所以在人工神經(jīng)元的建模中，常常還加有一個(gè)額外輸入信號，稱為偏差（Bats） ， 有時(shí)也稱為閥值或門限值。見圖 2.4。圖 2.4 基本神經(jīng)元模型上圖 a=f(wp)是不加偏差的輸入輸出關(guān)系，其中 w 是權(quán)重，p 是輸入；a=f(wp+b)是帶偏差的輸入輸出關(guān)系，w、p 意義同上，b 是偏差，f 是所謂的作用函數(shù)。經(jīng)過抽象，可得到數(shù)學(xué)表達(dá)式如下：(2.30)(2.31)ωi： 數(shù)值(Weigthts)；θ：閥值(Threshold)；б(s)：作用函數(shù)(Activated Transfer Function)。作用函數(shù)的基本作用是：(1) 控制輸人對輸出的激活作用；(2) 對輸入、輸出進(jìn)行函數(shù)轉(zhuǎn)換；(3) 將可能無限域的輸入變換成指定的有限范圍內(nèi)的輸出。2．幾種常用的作用函數(shù)武漢科技大學(xué)本科畢業(yè)設(shè)計(jì)(論文)第 19 頁包括閥值型（硬限制型） 、線性型、S 型函數(shù)(Sigmoid)、輻射基函數(shù)等。下面各圖形中的 n（W*P 十 b）是輸入，a 是輸出。 (1)．閥值型（硬限制型）有兩種形式，第一種是：(2.32)當(dāng)輸入大于 0 時(shí)，輸出為 1；輸入小于 0 時(shí)，輸出為 0。見圖 2.5。圖 2.5 閾值型作用函數(shù)一第二種是：(2.33)也就是當(dāng)輸入大于 0 時(shí)，輸出為 1；反之為-1。見圖 2.6。圖 2.6 閾值型作用函數(shù)二(2)．線性型也有兩種情況，全線性型和正線性型，如下：① 全線性A=f (W*P+b)=W*p+b (2.34)此時(shí)輸出與輸入成正比關(guān)系。見圖 2.7。武漢科技大學(xué)本科畢業(yè)設(shè)計(jì)(論文)第 20 頁圖 2.7 全線性作用函數(shù)②．正性型 (2.35)當(dāng)輸入大于 0 時(shí)，輸出與輸入成正比關(guān)系；反之，輸出恒為 0；見圖 2.8。圖 2.8 正線性作用函數(shù)(3)．S 型函數(shù)（Sigmoid）也有兩種可能的函數(shù)類型。① 對數(shù)正切y=1/(e-n+1) (2.36)輸出與輸入成對數(shù)正切關(guān)系，見圖 2.9。圖 2.9 S 型函數(shù)（對數(shù)正切）② 雙曲正切y=tanh(n) (2.37)輸入與輸出成雙曲正切關(guān)系，見圖 2.10。武漢科技大學(xué)本科畢業(yè)設(shè)計(jì)(論文)第 21 頁圖 2.10 S 型函數(shù)（雙曲正切）(4)．輻射基函數(shù)① 高斯函數(shù)函數(shù)的形狀見圖 2.11。圖 2.11 輻射基函數(shù)（高斯函數(shù)）② 三角波函數(shù)函數(shù)的形狀見圖 2.12。圖 2.12 輻射基函數(shù)（三角波函數(shù)）2.2.2 人工神經(jīng)網(wǎng)絡(luò)構(gòu)成人工神經(jīng)網(wǎng)絡(luò)有很多構(gòu)成形式，比如基本型、前向型、回歸型以及互聯(lián)型等，下面我們列出一些前兩種神經(jīng)網(wǎng)絡(luò)構(gòu)成形式。1．基本模型人工神經(jīng)網(wǎng)絡(luò)的基本模型如圖 2.13 所示。武漢科技大學(xué)本科畢業(yè)設(shè)計(jì)(論文)第 22 頁圖 2.13 人工神經(jīng)網(wǎng)絡(luò)基本模型 圖中，輸入經(jīng)過神經(jīng)元之間的連接值和作用函數(shù)，得到輸出，再與目標(biāo)值相比較，根據(jù)其差值信息，反饋回來進(jìn)行神經(jīng)元之間連接值的調(diào)整。2． 前向網(wǎng)絡(luò)結(jié)構(gòu)如圖 2.14 所示。圖 2.14 前向網(wǎng)絡(luò)結(jié)構(gòu)其中，x 1,x2,…,xn 是輸入,y 1,y2,…,yn 是輸出。前向網(wǎng)絡(luò)的特點(diǎn)如下：(1) 神經(jīng)元分層排列，可又多層；。(2) 層間無連接；(3) 方向由入到出.感知網(wǎng)絡(luò)（Perceptron 即為此） ，應(yīng)用最為廣泛。2.2.3 人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則武漢科技大學(xué)本科畢業(yè)設(shè)計(jì)(論文)第 23 頁ANN 中的核心問題就是如何決定網(wǎng)絡(luò)連接的加權(quán)系數(shù)（Weight） 。這一小節(jié)介紹 M 些常用的學(xué)習(xí)規(guī)則。1．Hebb 學(xué)習(xí)規(guī)則1949 年，D.O.Hebb 基于生理學(xué)和心理學(xué)的研究，對生物神經(jīng)細(xì)胞如何進(jìn)行學(xué)習(xí)的問題，剔除了一個(gè)直覺得假說：“當(dāng)兩個(gè)神經(jīng)元都處于興奮狀態(tài)時(shí)，連接這兩個(gè)神經(jīng)元的權(quán)值將得到加強(qiáng)” ，公式表示如下：(2.38)上式中，△W ij 是連接權(quán)值的變化，V i、V j 是兩個(gè)神經(jīng)元的活化水平，α 是學(xué)習(xí)系數(shù)。2．δ 學(xué)習(xí)規(guī)則也稱為誤差校正規(guī)則或者剃度方法，著名的 BP 方法即為其中一種。(2.39)(2.40)上式中，△W ij 為權(quán)值的改變，α 為學(xué)習(xí)系數(shù)，V i 是當(dāng)前神經(jīng)元的興奮度，δ 是實(shí)際輸出與期望輸出的偏差。2.2.4 BP 神經(jīng)網(wǎng)絡(luò)BP 網(wǎng)絡(luò)是應(yīng)用中經(jīng)常碰到的，這一節(jié)將詳細(xì)介紹一下 BP 網(wǎng)絡(luò)。1．BP 網(wǎng)絡(luò)模型BP 神經(jīng)網(wǎng)絡(luò)模型見圖 2.15圖 2.15 BP 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)可以看出，BP 網(wǎng)絡(luò)一般情況下有一個(gè)輸入層，一個(gè)隱藏層（有時(shí)是兩個(gè)武漢科技大學(xué)本科畢業(yè)設(shè)計(jì)(論文)第 24 頁或更多） ，一個(gè)輸出層。2．輸入輸出關(guān)系I-H（輸入層到隱藏層）(2.41) (2.42)H-O（隱藏層導(dǎo)輸出層） (2.43)其中，輸人層神經(jīng)元個(gè)數(shù)為 n，隱含層神經(jīng)元個(gè)數(shù)為 n1，輸出層神經(jīng)元個(gè)數(shù)為 S2。3．網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練前面已經(jīng)說過，神經(jīng)網(wǎng)絡(luò)的關(guān)鍵問題之一是權(quán)值的確定。下面，討論一下BP 網(wǎng)絡(luò)中的權(quán)值確定方法。我們假定輸入 q 組本 p1,p2,…,pq，p i Rn，期望輸出為 T1,T2,…,Tq，這里 T Rs2，網(wǎng)絡(luò)的實(shí)際輸出為 a21,a22,…,a2q,a2 Rs2。評價(jià)的準(zhǔn)則是誤差最小，所以網(wǎng)絡(luò)訓(xùn)練的實(shí)質(zhì)轉(zhuǎn)化為一個(gè)優(yōu)化問題。這里考慮用梯度法（Gradient）來找出誤差與加權(quán)系數(shù)的關(guān)系，以得到加權(quán)系數(shù)改變的規(guī)律。定義誤差函數(shù)為：(2.44)我們利用剃度下降法求權(quán)值的變化及誤差的反向傳播。(1)．輸出層的權(quán)值變化從第 i 個(gè)輸入到第 k 個(gè)輸出的權(quán)值改變有：(2.45)武漢科技大學(xué)本科畢業(yè)設(shè)計(jì)(論文)第 25 頁同理可得：(2.46) (2)．隱含層權(quán)值變化(2.47)其中， 同理可得， 。(3)．解釋輸出層誤差 ej(j=1-S2)隱含層誤差 ei(i=1-n2),這里，可以認(rèn)為 ei 是由 ej 加權(quán)組合形成的，由于作用函數(shù)的存在，e j 的等效作用為 δ ji=ejf ‘()。4．BP 網(wǎng)絡(luò)的設(shè)計(jì)問題在進(jìn)行 BP 網(wǎng)絡(luò)的設(shè)計(jì)時(shí)，一般應(yīng)從網(wǎng)絡(luò)的層數(shù)，每層中的神經(jīng)元個(gè)數(shù)和激活函數(shù)、初始值以及學(xué)習(xí)速率等幾個(gè)方面來進(jìn)行考慮。下面討論各自的選取原則。(1)．網(wǎng)絡(luò)的層數(shù)理論上已經(jīng)證明：具有偏差和至少一個(gè) S 型隱含層加上一個(gè)線性輸入層的網(wǎng)絡(luò)，能夠逼近任何有理函數(shù)。增加層數(shù)可以進(jìn)一步的降低誤差，提高精度，但同時(shí)也使網(wǎng)絡(luò)復(fù)雜化。另外不能用僅具有非線性激活函數(shù)的單層網(wǎng)絡(luò)來解決問題。因?yàn)槟苡脝螌泳W(wǎng)絡(luò)完美解決的問題，用自適應(yīng)線性網(wǎng)絡(luò)也一定能解決，而且自適應(yīng)線性網(wǎng)絡(luò)的運(yùn)算速度還要快。而對于只能用非線性函數(shù)解決的問題，