BP神經(jīng)網(wǎng)絡(luò)的基本原理+很清楚.doc

《BP神經(jīng)網(wǎng)絡(luò)的基本原理+很清楚.doc》由會(huì)員分享，可在線閱讀，更多相關(guān)《BP神經(jīng)網(wǎng)絡(luò)的基本原理+很清楚.doc（15頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

______________________________________________________________________________________________________________ 5.4 BP神經(jīng)網(wǎng)絡(luò)的基本原理 BP（Back Propagation）網(wǎng)絡(luò)是1986年由Rinehart和McClelland為首的科學(xué)家小組提出，是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。BP網(wǎng)絡(luò)能學(xué)習(xí)和存貯大量的輸入-輸出模式映射關(guān)系，而無(wú)需事前揭示描述這種映射關(guān)系的數(shù)學(xué)方程。它的學(xué)習(xí)規(guī)則是使用最速下降法，通過(guò)反向傳播來(lái)不斷調(diào)整網(wǎng)絡(luò)的權(quán)值和閾值，使網(wǎng)絡(luò)的誤差平方和最小。BP神經(jīng)網(wǎng)絡(luò)模型拓?fù)浣Y(jié)構(gòu)包括輸入層（input）、隱層(hide layer)和輸出層(output layer)（如圖5.2所示）。 5.4.1 BP神經(jīng)元 圖5.3給出了第j個(gè)基本BP神經(jīng)元（節(jié)點(diǎn)），它只模仿了生物神經(jīng)元所具有的三個(gè)最基本也是最重要的功能：加權(quán)、求和與轉(zhuǎn)移。其中x1、x2…xi…xn分別代表來(lái)自神經(jīng)元1、2…i…n的輸入；wj1、wj2…wji…wjn則分別表示神經(jīng)元1、2…i…n與第j個(gè)神經(jīng)元的連接強(qiáng)度，即權(quán)值；bj為閾值；f(·)為傳遞函數(shù)；yj為第j個(gè)神經(jīng)元的輸出。 第j個(gè)神經(jīng)元的凈輸入值為： ???????????????? （5.12） 其中： ???? 若視，，即令及包括及，則 ?? 于是節(jié)點(diǎn)j的凈輸入可表示為： ???????????????????? （5.13） ??? 凈輸入通過(guò)傳遞函數(shù)（Transfer Function）f (·)后，便得到第j個(gè)神經(jīng)元的輸出: ?????????? （5.14） 式中f(·)是單調(diào)上升函數(shù)，而且必須是有界函數(shù)，因?yàn)榧?xì)胞傳遞的信號(hào)不可能無(wú)限增加，必有一最大值。 5.4.2 BP網(wǎng)絡(luò) BP算法由數(shù)據(jù)流的前向計(jì)算（正向傳播）和誤差信號(hào)的反向傳播兩個(gè)過(guò)程構(gòu)成。正向傳播時(shí)，傳播方向?yàn)檩斎雽印[層→輸出層，每層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元。若在輸出層得不到期望的輸出，則轉(zhuǎn)向誤差信號(hào)的反向傳播流程。通過(guò)這兩個(gè)過(guò)程的交替進(jìn)行，在權(quán)向量空間執(zhí)行誤差函數(shù)梯度下降策略，動(dòng)態(tài)迭代搜索一組權(quán)向量，使網(wǎng)絡(luò)誤差函數(shù)達(dá)到最小值，從而完成信息提取和記憶過(guò)程。 5.4.2.1 正向傳播 設(shè) BP網(wǎng)絡(luò)的輸入層有n個(gè)節(jié)點(diǎn)，隱層有q個(gè)節(jié)點(diǎn)，輸出層有m個(gè)節(jié)點(diǎn)，輸入層與隱層之間的權(quán)值為，隱層與輸出層之間的權(quán)值為，如圖5.4所示。隱層的傳遞函數(shù)為f1(·)，輸出層的傳遞函數(shù)為f2(·)，則隱層節(jié)點(diǎn)的輸出為（將閾值寫(xiě)入求和項(xiàng)中）： ???????? k=1,2,……q????????????? （5.15） 輸出層節(jié)點(diǎn)的輸出為： ?????? j=1,2,……m????????????? （5.16） 至此B-P網(wǎng)絡(luò)就完成了n維空間向量對(duì)m維空間的近似映射。 5.4.2.2 反向傳播 1)???? 定義誤差函數(shù) 輸入個(gè)學(xué)習(xí)樣本，用來(lái)表示。第個(gè)樣本輸入到網(wǎng)絡(luò)后得到輸出（j=1,2,…m）。采用平方型誤差函數(shù)，于是得到第p個(gè)樣本的誤差Ep： ???????????????????? （5.17） 式中：為期望輸出。 對(duì)于個(gè)樣本，全局誤差為： ??????????????? （5.18） 2）輸出層權(quán)值的變化 采用累計(jì)誤差BP算法調(diào)整，使全局誤差變小，即 ?????????? （5.19） 式中：—學(xué)習(xí)率 定義誤差信號(hào)為： ????????????????? （5.20） 其中第一項(xiàng)： ????????? （5.21） ??? 第二項(xiàng)： ???????????????????????? （5.22） 是輸出層傳遞函數(shù)的偏微分。 于是： ??????????????????? （5.23） 由鏈定理得： ????? （5.24） 于是輸出層各神經(jīng)元的權(quán)值調(diào)整公式為： ?????????????? （5.25） 3）隱層權(quán)值的變化 ????????? （5.26） 定義誤差信號(hào)為： ?????????????????? （5.27） 其中第一項(xiàng)： ????????? （5.28） 依鏈定理有： ????????????????? （5.29） ??? 第二項(xiàng)： ???????????????????????? （5.30） 是隱層傳遞函數(shù)的偏微分。 于是： ??????????????? （5.31） 由鏈定理得： ?? （5.32） 從而得到隱層各神經(jīng)元的權(quán)值調(diào)整公式為： ??????????? （5.33） 5.4.3 BP算法的改進(jìn) BP算法理論具有依據(jù)可靠、推導(dǎo)過(guò)程嚴(yán)謹(jǐn)、精度較高、通用性較好等優(yōu)點(diǎn)，但標(biāo)準(zhǔn)BP算法存在以下缺點(diǎn)：收斂速度緩慢；容易陷入局部極小值；難以確定隱層數(shù)和隱層節(jié)點(diǎn)個(gè)數(shù)。在實(shí)際應(yīng)用中，BP算法很難勝任，因此出現(xiàn)了很多改進(jìn)算法。 1）??? 利用動(dòng)量法改進(jìn)BP算法 標(biāo)準(zhǔn)BP算法實(shí)質(zhì)上是一種簡(jiǎn)單的最速下降靜態(tài)尋優(yōu)方法，在修正W(K)時(shí)，只按照第K步的負(fù)梯度方向進(jìn)行修正，而沒(méi)有考慮到以前積累的經(jīng)驗(yàn)，即以前時(shí)刻的梯度方向，從而常常使學(xué)習(xí)過(guò)程發(fā)生振蕩，收斂緩慢。動(dòng)量法權(quán)值調(diào)整算法的具體做法是：將上一次權(quán)值調(diào)整量的一部分迭加到按本次誤差計(jì)算所得的權(quán)值調(diào)整量上，作為本次的實(shí)際權(quán)值調(diào)整量，即： ??????????????? （5.34） 其中：α為動(dòng)量系數(shù)，通常0＜α＜0.9；η—學(xué)習(xí)率，范圍在0.001～10之間。這種方法所加的動(dòng)量因子實(shí)際上相當(dāng)于阻尼項(xiàng)，它減小了學(xué)習(xí)過(guò)程中的振蕩趨勢(shì)，從而改善了收斂性。動(dòng)量法降低了網(wǎng)絡(luò)對(duì)于誤差曲面局部細(xì)節(jié)的敏感性，有效的抑制了網(wǎng)絡(luò)陷入局部極小。 2）??? 自適應(yīng)調(diào)整學(xué)習(xí)速率 標(biāo)準(zhǔn)BP算法收斂速度緩慢的一個(gè)重要原因是學(xué)習(xí)率選擇不當(dāng)，學(xué)習(xí)率選得太小，收斂太慢；學(xué)習(xí)率選得太大，則有可能修正過(guò)頭，導(dǎo)致振蕩甚至發(fā)散?？刹捎脠D5.5所示的自適應(yīng)方法調(diào)整學(xué)習(xí)率。 調(diào)整的基本指導(dǎo)思想是：在學(xué)習(xí)收斂的情況下，增大η，以縮短學(xué)習(xí)時(shí)間；當(dāng)η偏大致使不能收斂時(shí)，要及時(shí)減小η，直到收斂為止。 3）??? 動(dòng)量-自適應(yīng)學(xué)習(xí)速率調(diào)整算法 采用動(dòng)量法時(shí)，BP算法可以找到更優(yōu)的解；采用自適應(yīng)學(xué)習(xí)速率法時(shí)，BP算法可以縮短訓(xùn)練時(shí)間。將以上兩種方法結(jié)合起來(lái)，就得到動(dòng)量-自適應(yīng)學(xué)習(xí)速率調(diào)整算法。 4）??? L-M學(xué)習(xí)規(guī)則 L-M（Levenberg-Marquardt）算法比前述幾種使用梯度下降法的BP算法要快得多，但對(duì)于復(fù)雜問(wèn)題，這種方法需要相當(dāng)大的存儲(chǔ)空間。L-M(Levenberg-Marquardt)優(yōu)化方法的權(quán)值調(diào)整率選為: ????????????????? （5.35） 其中：e—誤差向量；J—網(wǎng)絡(luò)誤差對(duì)權(quán)值導(dǎo)數(shù)的雅可比（Jacobian）矩陣；μ—標(biāo)量，當(dāng)μ很大時(shí)上式接近于梯度法，當(dāng)μ很小時(shí)上式變成了Gauss-Newton法，在這種方法中，μ也是自適應(yīng)調(diào)整的。 綜合考慮，擬采用L-M學(xué)習(xí)規(guī)則和動(dòng)量法分別作為神經(jīng)網(wǎng)絡(luò)的訓(xùn)練函數(shù)和學(xué)習(xí)函數(shù)。 5.5 BP神經(jīng)網(wǎng)絡(luò)的訓(xùn)練策略及結(jié)果 本文借助于MATLAB神經(jīng)網(wǎng)絡(luò)工具箱來(lái)實(shí)現(xiàn)多層前饋BP網(wǎng)絡(luò)（Multi-layer feed-forward backpropagation network）的顏色空間轉(zhuǎn)換，免去了許多編寫(xiě)計(jì)算機(jī)程序的煩惱。神經(jīng)網(wǎng)絡(luò)的實(shí)際輸出值與輸入值以及各權(quán)值和閾值有關(guān)，為了使實(shí)際輸出值與網(wǎng)絡(luò)期望輸出值相吻合，可用含有一定數(shù)量學(xué)習(xí)樣本的樣本集和相應(yīng)期望輸出值的集合來(lái)訓(xùn)練網(wǎng)絡(luò)。訓(xùn)練時(shí)仍然使用本章5.2節(jié)中所述的實(shí)測(cè)樣本數(shù)據(jù)。 另外，目前尚未找到較好的網(wǎng)絡(luò)構(gòu)造方法。確定神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和權(quán)系數(shù)來(lái)描述給定的映射或逼近一個(gè)未知的映射，只能通過(guò)學(xué)習(xí)方式得到滿足要求的網(wǎng)絡(luò)模型。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)可以理解為：對(duì)確定的網(wǎng)絡(luò)結(jié)構(gòu)，尋找一組滿足要求的權(quán)系數(shù)，使給定的誤差函數(shù)最小。設(shè)計(jì)多層前饋網(wǎng)絡(luò)時(shí)，主要側(cè)重試驗(yàn)、探討多種模型方案，在實(shí)驗(yàn)中改進(jìn)，直到選取一個(gè)滿意方案為止，可按下列步驟進(jìn)行：對(duì)任何實(shí)際問(wèn)題先都只選用一個(gè)隱層；使用很少的隱層節(jié)點(diǎn)數(shù)；不斷增加隱層節(jié)點(diǎn)數(shù)，直到獲得滿意性能為止；否則再采用兩個(gè)隱層重復(fù)上述過(guò)程。 訓(xùn)練過(guò)程實(shí)際上是根據(jù)目標(biāo)值與網(wǎng)絡(luò)輸出值之間誤差的大小反復(fù)調(diào)整權(quán)值和閾值，直到此誤差達(dá)到預(yù)定值為止。 5.5.1 確定BP網(wǎng)絡(luò)的結(jié)構(gòu) 確定了網(wǎng)絡(luò)層數(shù)、每層節(jié)點(diǎn)數(shù)、傳遞函數(shù)、初始權(quán)系數(shù)、學(xué)習(xí)算法等也就確定了BP網(wǎng)絡(luò)。確定這些選項(xiàng)時(shí)有一定的指導(dǎo)原則，但更多的是靠經(jīng)驗(yàn)和試湊。 1）隱層數(shù)的確定： 1998年Robert Hecht-Nielson證明了對(duì)任何在閉區(qū)間內(nèi)的連續(xù)函數(shù)，都可以用一個(gè)隱層的BP網(wǎng)絡(luò)來(lái)逼近，因而一個(gè)三層的BP網(wǎng)絡(luò)可以完成任意的n維到m維的映照。因此我們從含有一個(gè)隱層的網(wǎng)絡(luò)開(kāi)始進(jìn)行訓(xùn)練。 2） BP網(wǎng)絡(luò)常用傳遞函數(shù): BP網(wǎng)絡(luò)的傳遞函數(shù)有多種。Log-sigmoid型函數(shù)的輸入值可取任意值，輸出值在0和1之間；tan-sigmod型傳遞函數(shù)tansig的輸入值可取任意值，輸出值在-1到+1之間；線性傳遞函數(shù)purelin的輸入與輸出值可取任意值。BP網(wǎng)絡(luò)通常有一個(gè)或多個(gè)隱層，該層中的神經(jīng)元均采用sigmoid型傳遞函數(shù)，輸出層的神經(jīng)元?jiǎng)t采用線性傳遞函數(shù)，整個(gè)網(wǎng)絡(luò)的輸出可以取任意值。各種傳遞函數(shù)如圖5.6所示。 只改變傳遞函數(shù)而其余參數(shù)均固定，用本章5.2節(jié)所述的樣本集訓(xùn)練BP網(wǎng)絡(luò)時(shí)發(fā)現(xiàn)，傳遞函數(shù)使用tansig函數(shù)時(shí)要比logsig函數(shù)的誤差小。于是在以后的訓(xùn)練中隱層傳遞函數(shù)改用tansig函數(shù)，輸出層傳遞函數(shù)仍選用purelin函數(shù)。 3） 每層節(jié)點(diǎn)數(shù)的確定： 使用神經(jīng)網(wǎng)絡(luò)的目的是實(shí)現(xiàn)攝像機(jī)輸出RGB顏色空間與CIE-XYZ色空間轉(zhuǎn)換，因此BP網(wǎng)絡(luò)的輸入層和輸出層的節(jié)點(diǎn)個(gè)數(shù)分別為3。下面主要介紹隱層節(jié)點(diǎn)數(shù)量的確定。 對(duì)于多層前饋網(wǎng)絡(luò)來(lái)說(shuō)，隱層節(jié)點(diǎn)數(shù)的確定是成敗的關(guān)鍵。若數(shù)量太少，則網(wǎng)絡(luò)所能獲取的用以解決問(wèn)題的信息太少；若數(shù)量太多，不僅增加訓(xùn)練時(shí)間，更重要的是隱層節(jié)點(diǎn)過(guò)多還可能出現(xiàn)所謂“過(guò)渡吻合”（Overfitting）問(wèn)題，即測(cè)試誤差增大導(dǎo)致泛化能力下降，因此合理選擇隱層節(jié)點(diǎn)數(shù)非常重要。關(guān)于隱層數(shù)及其節(jié)點(diǎn)數(shù)的選擇比較復(fù)雜，一般原則是：在能正確反映輸入輸出關(guān)系的基礎(chǔ)上，應(yīng)選用較少的隱層節(jié)點(diǎn)數(shù)，以使網(wǎng)絡(luò)結(jié)構(gòu)盡量簡(jiǎn)單。本論文中采用網(wǎng)絡(luò)結(jié)構(gòu)增長(zhǎng)型方法，即先設(shè)置較少的節(jié)點(diǎn)數(shù)，對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并測(cè)試學(xué)習(xí)誤差，然后逐漸增加節(jié)點(diǎn)數(shù)，直到學(xué)習(xí)誤差不再有明顯減少為止。 5.5.2 誤差的選取 在神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中選擇均方誤差MSE較為合理，原因如下： ①? 標(biāo)準(zhǔn)BP算法中，誤差定義為： ????????????????? ????（5.36） 每個(gè)樣本作用時(shí)，都對(duì)權(quán)矩陣進(jìn)行了一次修改。由于每次權(quán)矩陣的修改都沒(méi)有考慮權(quán)值修改后其它樣本作用的輸出誤差是否也減小，因此將導(dǎo)致迭代次數(shù)增加。 ②? 累計(jì)誤差BP算法的全局誤差定義為： ??????????????? （5.37） 這種算法是為了減小整個(gè)訓(xùn)練集的全局誤差，而不針對(duì)某一特定樣本，因此如果作某種修改能使全局誤差減小，并不等于說(shuō)每一個(gè)特定樣本的誤差也都能同時(shí)減小。它不能用來(lái)比較P和m不同的網(wǎng)絡(luò)性能。因?yàn)閷?duì)于同一網(wǎng)絡(luò)來(lái)說(shuō)，P越大，E也越大； P值相同，m越大E也越大。 ③? 均方誤差MSE： ????????????????? （5.38） 其中:—輸出節(jié)點(diǎn)的個(gè)數(shù)，—訓(xùn)練樣本數(shù)目，—網(wǎng)絡(luò)期望輸出值，—網(wǎng)絡(luò)實(shí)際輸出值。均方誤差克服了上述兩種算法的缺點(diǎn)，所以選用均方誤差算法較合理。 5.5.3 訓(xùn)練結(jié)果 訓(xùn)練一個(gè)單隱層的三層BP網(wǎng)絡(luò)，根據(jù)如下經(jīng)驗(yàn)公式選擇隱層節(jié)點(diǎn)數(shù)[125]： ???????????????????????? （5.39） 式中：n為輸入節(jié)點(diǎn)個(gè)數(shù)，m為輸出節(jié)點(diǎn)個(gè)數(shù)，a為1到10之間的常數(shù)。針對(duì)本論文n1取值范圍為3～13。訓(xùn)練結(jié)果如表5.1所示。 表5.1?? 隱層節(jié)點(diǎn)數(shù)與誤差的關(guān)系 隱層神經(jīng)元個(gè)數(shù) 訓(xùn)練誤差 測(cè)試誤差 3 1.25661 1.1275 4 0.797746 0.8232 5 0.631849 0.7278 6 0.570214 0.6707 7 0.552873 0.6895 8 0.445118 0.6575 9 0.385578 0.6497 10 0.259624 0.4555 11 0.185749 0.6644 12 0.183878 0.48 13 0.168587 0.6671 由上表可以看出： ①????????????? 增加隱層節(jié)點(diǎn)數(shù)可以減少訓(xùn)練誤差，但超過(guò)10以后測(cè)試誤差產(chǎn)生波動(dòng)，即泛化能力發(fā)生變化。綜合比較隱層節(jié)點(diǎn)數(shù)為10與12的訓(xùn)練誤差和測(cè)試誤差，決定隱層節(jié)點(diǎn)數(shù)選用12。 ②????????????? 訓(xùn)練誤差和測(cè)試誤差都很大,而且收斂速度極慢（訓(xùn)練過(guò)程如圖5.7所示），這個(gè)問(wèn)題可以通過(guò)對(duì)輸出量進(jìn)行歸一化來(lái)解決。 根據(jù)Sigmoid型傳遞函數(shù)輸入和輸出的范圍，對(duì)輸入變量不進(jìn)行歸一化處理，只對(duì)輸出變量進(jìn)行歸一化，這是因?yàn)樵谳敵鰯?shù)據(jù)要求歸一化的同時(shí)，對(duì)輸入數(shù)據(jù)也進(jìn)行歸一化的話，權(quán)值的可解釋性就更差了。目標(biāo)值按下式進(jìn)行變化： ?????????????????? （5.40） 使目標(biāo)值落在0.05～0.95之間，這樣靠近數(shù)據(jù)變化區(qū)間端點(diǎn)的網(wǎng)絡(luò)輸出值就有一波動(dòng)范圍，網(wǎng)絡(luò)的性能較好。用新生成的訓(xùn)練樣本與測(cè)試樣本對(duì)隱層節(jié)點(diǎn)數(shù)為12的網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到的訓(xùn)練誤差為9.89028×10-5，測(cè)試誤差為1.9899×10-4，達(dá)到了預(yù)定的目標(biāo)（訓(xùn)練過(guò)程如圖5.8所示）。 5.6 最終訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 采用三層BP網(wǎng)絡(luò)實(shí)現(xiàn)攝像機(jī)輸出RGB顏色空間與CIEXYZ色空間轉(zhuǎn)換，其中隱層含有12個(gè)節(jié)點(diǎn)，傳遞函數(shù)采用tansig函數(shù)；輸出層傳遞函數(shù)選用purelin函數(shù)。經(jīng)過(guò)測(cè)試后結(jié)果滿意，可以認(rèn)為該神經(jīng)網(wǎng)絡(luò)可以用來(lái)實(shí)現(xiàn)這個(gè)關(guān)系映射。網(wǎng)絡(luò)的結(jié)構(gòu)如圖5.9所示： 得到的BP神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值為： ???????? ??? ????? 5.7 本章小結(jié) 1)?????? 定量地分析了用線性關(guān)系轉(zhuǎn)換攝像機(jī)RGB空間到CIE-XYZ空間數(shù)據(jù)后產(chǎn)生的均方誤差，表明CCD攝像機(jī)與標(biāo)準(zhǔn)觀察者之間有比較明顯的差別，也就是說(shuō)RGB與CIE-XYZ間的轉(zhuǎn)換是非線性的。 2)?????? 采用MATLAB 中神經(jīng)網(wǎng)絡(luò)工具箱實(shí)現(xiàn)多層前饋BP網(wǎng)絡(luò)的RGB到CIEXYZ顏色空間轉(zhuǎn)換，用經(jīng)過(guò)歸一化的訓(xùn)練樣本與測(cè)試樣本對(duì)隱層節(jié)點(diǎn)數(shù)為12的三層網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到的訓(xùn)練誤差為9.89028×10-5，測(cè)試誤差為1.9899×10-4，結(jié)果表明經(jīng)過(guò)訓(xùn)練的多層前饋BP網(wǎng)絡(luò)可以滿足RGB空間向CIEXYZ顏色空間轉(zhuǎn)換要求，達(dá)到了預(yù)定目標(biāo)。 3)?????? 確定了用于RGB和XYZ顏色空間轉(zhuǎn)換的BP網(wǎng)絡(luò)結(jié)構(gòu)，并求出了該神經(jīng)網(wǎng)絡(luò)的權(quán)值和閾值。使用該網(wǎng)絡(luò)可以定量表達(dá)食品顏色，定量比較高壓加工食品顏色的變化，可以使食品顏色測(cè)定和控制實(shí)現(xiàn)定量化，而不再是主觀性很強(qiáng)的模糊描述。 -可編輯修改-