神經(jīng)網(wǎng)絡(luò)——BP算法

《神經(jīng)網(wǎng)絡(luò)——BP算法》由會(huì)員分享，可在線閱讀，更多相關(guān)《神經(jīng)網(wǎng)絡(luò)——BP算法（79頁珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

1、第 7章 7.2 典 型 神 經(jīng) 網(wǎng) 絡(luò) -BP 反 向 傳 播 網(wǎng) 絡(luò) BackPropagation Network，由 于 其 權(quán) 值 的 調(diào) 整 采 用 反 向 傳 播（ Backpropagation） 的 學(xué) 習(xí) 算 法 ，因 此 被 稱 為 BP網(wǎng) 絡(luò) 。 BP網(wǎng) 絡(luò) 是 一 種 單 向 傳 播 的 多 層 前 向 網(wǎng) 絡(luò)其 神 經(jīng) 元 的 變 換 函 數(shù) 是 S型 函 數(shù) ，因 此 輸 出 量 為 0到 1之 間 的 連 續(xù) 量它 可 以 對(duì) 非 線 性 可 微 分 函 數(shù) 進(jìn) 行權(quán) 值 訓(xùn) 練 ， 從 而 實(shí) 現(xiàn) 輸 入 到 輸 出的 任 意 的 非 線 性 映 射 。 網(wǎng)

2、絡(luò) 中 心 思 想 是 梯 度 下 降 法 通 過 梯 度 搜 索 技 術(shù) ， 使 網(wǎng)絡(luò) 實(shí) 際 輸 出 值 與 期 望 輸 出 值的 誤 差 均 方 值 最 小 。 網(wǎng) 絡(luò) 的 學(xué) 習(xí) 過 程 是 一 種 誤 差邊 向 后 傳 播 邊 修 正 權(quán) 系 數(shù) 的過 程 7.2.2 BP網(wǎng) 絡(luò) 結(jié) 構(gòu) BP神 經(jīng) 網(wǎng) 絡(luò) 模 型 結(jié) 構(gòu) 輸 入 層 隱 層 輸 出 層輸 入 輸 出 BP網(wǎng) 絡(luò) 是 一 種 多 層 前 向 神 經(jīng) 網(wǎng) 絡(luò)v一 般 分 三 層 ： 輸 入 層 ， 隱 層 ， 輸 出 層 ， 也 可 以有 2層 或 更 多 個(gè) 隱 層 。v層 與 層 之 間 采 用 全 互 聯(lián) 方 式

3、 ， 同 一 層 單 元 之間 不 存 在 相 互 連 接 。 1） 輸 入 層 單 元 無 轉(zhuǎn) 換 函 數(shù) ， 直 接 接 收 信 號(hào) 傳 給下 一 層 ， 所 以 有 些 書 不 認(rèn) 為 輸 入 層 是 一 個(gè) 網(wǎng) 絡(luò) 層 。2） 在 一 般 情 況 下 ， 均 是 在 隱 含 層 采 用 S 型 激 活函 數(shù) ， 而 輸 出 層 采 用 線 性 激 活 函 數(shù) 。 x1x 2xn y1yp只 有 當(dāng) 希 望 對(duì) 網(wǎng)絡(luò) 的 輸 出 進(jìn) 行 限制 ， 如 限 制 在 0和1之 間 ， 那 么 則 在輸 出 層 包 含 S 型激 活 函 數(shù) BP網(wǎng) 絡(luò) 特 點(diǎn)是 多 層 網(wǎng) 絡(luò) ， 包 括 輸

4、 入 層 、 隱 層 和 輸 出 層層 與 層 之 間 采 用 全 互 連 方 式 ， 同 一 層 神 經(jīng)元 之 間 不 連 接權(quán) 值 通 過 學(xué) 習(xí) 算 法 進(jìn) 行 調(diào) 節(jié)神 經(jīng) 元 激 發(fā) 函 數(shù) 為 S函 數(shù)層 與 層 的 連 接 是 單 向 的 ， 信 息 傳 播 是 雙 向的 感 知 機(jī) 網(wǎng) 絡(luò) 利 用 輸 出 誤 差 只 能修 改 最 后 一 層 的 權(quán) 值而 BP網(wǎng) 絡(luò) 實(shí) 現(xiàn) 了 多 層 學(xué) 習(xí) ， 每一 層 的 權(quán) 值 均 可 訓(xùn) 練 學(xué) 習(xí) 修 改 。 BP學(xué) 習(xí) 規(guī) 則 BP算 法 屬 于 算 法 ， 是 一 種監(jiān) 督 式 的 學(xué) 習(xí) 算 法 。 其 主 要 思 想 為

5、：對(duì) 于 q個(gè) 輸 入 學(xué) 習(xí) 樣 本 ： P1， P2， Pq，已 知 與 其 對(duì) 應(yīng) 的 輸 出 樣 本 為 ： T1， T2， Tq。學(xué) 習(xí) 的 目 的 ： 是 用 網(wǎng) 絡(luò) 的 實(shí) 際 輸 出 A1， A2， Aq與 目 標(biāo)矢 量 T1， T2， Tq之 間 的 誤 差 來 修 改 其 權(quán) 值 使 Al (l l， 2， q)與 期 望 的 Tl盡 可 能 地 接 近 ；即 ： 使 網(wǎng) 絡(luò) 輸 出 層 的 誤 差 平 方 和 達(dá) 到 最 小 。 BP算 法 的 學(xué) 習(xí) 過 程 由 正 向 傳 播 和 反 向 傳 播 組 成 BP算 法 是 由 兩 部 分 組 成 ： 信 息的 正 向 傳

6、 遞 與 誤 差 的 反 向 傳 播 。 在 正 向 傳 播 過 程 中 ， 輸 入 信 息從 輸 入 經(jīng) 隱 含 層 逐 層 計(jì) 算 傳 向 輸出 層 ， 每 一 層 神 經(jīng) 元 的 狀 態(tài) 只 影響 下 一 層 神 經(jīng) 元 的 狀 態(tài) 。 如 果 在 輸 出 層 沒 有 得 到 期 望的 輸 出 ， 則 計(jì) 算 輸 出 層 的 誤差 變 化 值 ， 然 后 轉(zhuǎn) 向 反 向 傳播 ， 通 過 網(wǎng) 絡(luò) 將 誤 差 信 號(hào) 沿原 來 的 連 接 通 路 反 傳 回 來 修改 各 層 神 經(jīng) 元 的 權(quán) 值 直 至 達(dá)到 期 望 目 標(biāo) 。 BP網(wǎng) 絡(luò) 用 途1)函 數(shù) 逼 近 ： 用 輸 入 矢

7、 量 和 相 應(yīng) 的 輸 出 矢量 訓(xùn) 練 一 個(gè) 網(wǎng) 絡(luò) 逼 近 個(gè) 函 數(shù) ；2)模 式 識(shí) 別 ： 用 一 個(gè) 特 定 的 輸 出 矢 量 將 它與 輸 入 矢 量 聯(lián) 系 起 來 ；3)分 類 ： 把 輸 入 矢 量 以 所 定 義 的 合 適 方 式進(jìn) 行 分 類 ；4)數(shù) 據(jù) 壓 縮 ： 減 少 輸 出 矢 量 維 數(shù) 以 便 于 傳輸 或 存 儲(chǔ) 。 BP網(wǎng) 絡(luò) 的 逼 近 用 于 逼 近 的 BP網(wǎng) 絡(luò) 前 向 傳 播 ： 計(jì) 算 網(wǎng) 絡(luò) 輸 出 i iijj xx jxjj exfx 1 1輸 出 層 輸 出 j jjn xky 2隱 層 輸 出 采 用 S函 數(shù) 隱 層 輸

8、 入 ： 11 22 22 kk xkekk jj jjj 11 22222 kkkk jjjjj 11 kkkk ijijijijij 1 )1( 11 2 kk xxxkek kkkk ijij ijjjij ijijijijij BP網(wǎng) 絡(luò) 逼 近 仿 真Chap7_1.m 23 11 1 kykykuky 23 11 kykykuky )t6sin(5.0ku 5.005.0設(shè) 計(jì) 的 網(wǎng) 絡(luò) 結(jié) 構(gòu) 為 2-6-1；權(quán) 值 w1,w2的 初 值 取 -1,+1之 間 的 隨 機(jī) 值 ，取 初 始 化 加 輸 入 和 期 望 輸 出計(jì) 算 隱 層 和 輸 出 層 的 輸 出 迭 代 次

9、 數(shù) 加 1調(diào) 節(jié) 輸 出 層 和 隱 層 的 連 接 權(quán) 值 pjopjhjihkj kpjopkokjokj xtwtw Otwtw )()1( )()1( 改 變 訓(xùn) 練 樣 板訓(xùn) 練 樣 終 止 ？迭 代 終 止 ？ BP算 法 的 基 本 流 程N(yùn)oNo y y BP網(wǎng) 絡(luò) 模 式 識(shí) 別 一 、 由 于 神 經(jīng) 網(wǎng) 絡(luò) 具 有 自 學(xué) 習(xí) 、 自 組 織 和 并 行 處 理等 特 征 ， 并 具 有 很 強(qiáng) 的 容 錯(cuò) 能 力 和 聯(lián) 想 能 力 ，因 此 ， 神 經(jīng) 網(wǎng) 絡(luò) 具 有 模 式 識(shí) 別 能 力 。 在 神 經(jīng) 網(wǎng) 絡(luò) 識(shí) 別 中 ， 根 據(jù) 標(biāo) 準(zhǔn) 的 輸 入 輸 出

10、 模 式對(duì) ， 采 用 神 經(jīng) 網(wǎng) 絡(luò) 學(xué) 習(xí) 算 法 ， 以 標(biāo) 準(zhǔn) 的 模 式 作為 學(xué) 習(xí) 樣 本 進(jìn) 行 訓(xùn) 練 ， 通 過 學(xué) 習(xí) 調(diào) 整 神 經(jīng) 網(wǎng) 絡(luò)的 連 接 權(quán) 值 。 當(dāng) 訓(xùn) 練 滿 足 要 求 后 ， 得 到 知 識(shí) 庫 ， 利 用 神 經(jīng) 網(wǎng)絡(luò) 并 行 推 理 算 法 便 可 對(duì) 所 需 的 輸 入 模 式 進(jìn) 行 識(shí)別 。 BP網(wǎng) 絡(luò) 的 訓(xùn) 練 過 程 為 了 訓(xùn) 練 一 個(gè) BP網(wǎng) 絡(luò) ， 需 要 計(jì) 算 網(wǎng) 絡(luò) 加 權(quán)輸 入 矢 量 以 及 網(wǎng) 絡(luò) 輸 出 和 誤 差 矢 量 ， 然 后 求 得誤 差 平 方 和 。 當(dāng) 所 訓(xùn) 練 矢 量 的 誤 差 平 方

11、和 小 于 誤 差 目 標(biāo) ，訓(xùn) 練 則 停 止 ， 否 則 在 輸 出 層 計(jì) 算 誤 差 變 化 ， 且采 用 反 向 傳 播 學(xué) 習(xí) 規(guī) 則 來 調(diào) 整 權(quán) 值 ， 并 重 復(fù) 此過 程 。 當(dāng) 網(wǎng) 絡(luò) 完 成 訓(xùn) 練 后 ， 對(duì) 網(wǎng) 絡(luò) 輸 入 一 個(gè) 不 是訓(xùn) 練 集 合 中 的 矢 量 ， 網(wǎng) 絡(luò) 將 給 出 輸 出 結(jié) 果 。 為 了 能 夠 較 好 地 掌 握 BP網(wǎng) 絡(luò) 的 訓(xùn) 練過 程 ， 我 們 再 用 兩 層 網(wǎng) 絡(luò) 為 例 來 敘 述 BP網(wǎng) 絡(luò) 的 訓(xùn) 練 步 驟 。 1)用 小 的 隨 機(jī) 數(shù) 對(duì) 每 一 層 的 權(quán) 值 W初 始 化 ，以 保 證 網(wǎng) 絡(luò) 不 被

12、 大 的 加 權(quán) 輸 入 飽 和 ；2)計(jì) 算 網(wǎng) 絡(luò) 各 層 輸 出 矢 量 A1和 A2以 及 網(wǎng) 絡(luò)誤 差 E 3)計(jì) 算 各 層 反 傳 的 誤 差 變 化 并 計(jì) 算 各 層 權(quán) 值的 修 正 值 以 及 新 權(quán) 值4)再 次 計(jì) 算 權(quán) 值 修 正 后 誤 差 平 方 和 ：5)檢 查 誤 差 是 否 小 于 給 定 誤 差 ， 若 是 ， 訓(xùn) 練結(jié) 束 ； 否 則 繼 續(xù) 。 以 上 所 有 的 學(xué) 習(xí) 規(guī) 則 與 訓(xùn) 練 的 全 過 程 ， 仍 然 可 以 用函 數(shù) trainbp.m來 完 成 。 它 的 使 用 同 樣 只 需 要 定 義有 關(guān) 參 數(shù) ： 顯 示 間 隔

13、次 數(shù) ， 最 大 循 環(huán) 次 數(shù) ， 目 標(biāo) 誤差 ， 以 及 學(xué) 習(xí) 速 率 ， 而 調(diào) 用 后 返 回 訓(xùn) 練 后 權(quán) 值 ， 循環(huán) 總 數(shù) 和 最 終 誤 差 ： TP disp_freq max_epoch err_goal 1r；W， B， epochs， errors trainbp(W， B， F，P， T， TP)； 基 于 BP算 法 的 多 層 前 饋 網(wǎng) 絡(luò) 用 圖 像 壓 縮 編 碼Ackley和 H inton等 人 1985年 提 出 了 利 用 多 層 前 饋神 經(jīng) 網(wǎng) 絡(luò) 的 模 式 變 換 能 力 實(shí) 現(xiàn) 數(shù) 據(jù) 編 碼 的 基 本 思想 。其 原 理 是

14、， 把 一 組 輸 入 模 式 通 過 少 量 的 隱 層 節(jié) 點(diǎn)映 射 到 一 組 輸 出 模 式 ， 并 使 輸 出 模 式 等 同 于 輸 入模 式 。 當(dāng) 中 間 隱 層 的 節(jié) 點(diǎn) 數(shù) 比 輸 入 模 式 維 數(shù) 少 時(shí) ，就 意 味 著 隱 層 能 更 有 效 的 表 現(xiàn) 輸 入 模 式 ， 并 把 這種 表 現(xiàn) 傳 給 輸 出 層 。 在 這 個(gè) 過 程 中 ， 輸 入 層 和 隱層 的 變 換 可 以 看 成 是 壓 縮 編 碼 的 過 程 ； 而 隱 層 和輸 出 層 的 變 換 可 以 看 成 是 解 碼 過 程 。 用 多 層 前 饋 網(wǎng) 實(shí) 現(xiàn) 圖 像 數(shù) 據(jù) 壓 縮

15、時(shí) ， 只 需 一 個(gè) 隱 層 ， 如 圖原 圖 像nn 重 建 圖 像 n n 輸 入 層 和 輸 出 層 均 含 有 n*n個(gè) 神 經(jīng) 元 ， 每 個(gè) 神 經(jīng) 元對(duì) 應(yīng) 于 n*n圖 像 分 塊 中 的 一 個(gè) 像 素 。 隱 層 神 經(jīng) 元 的數(shù) 量 由 圖 像 壓 縮 比 決 定 ， 如 n=16時(shí) ， 取 隱 層 神 經(jīng)元 數(shù) 為 m=8， 則 可 將 256像 素 的 圖 像 塊 壓 縮 為 像 素 。通 過 調(diào) 整 權(quán) 值 使 訓(xùn) 練 集 圖 像 的 重 建 誤 差 達(dá) 到 最 小 。訓(xùn) 練 后 的 網(wǎng) 絡(luò) 就 可 以 用 來 執(zhí) 行 圖 像 的 數(shù) 據(jù) 壓 縮 任務(wù) 了 ， 此

16、 時(shí) 隱 層 輸 出 向 量 便 是 數(shù) 據(jù) 壓 縮 結(jié) 果 ， 而輸 出 層 的 輸 出 向 量 便 是 圖 像 重 建 的 結(jié) 果 。 黑 白 圖 像 的 邊 緣 檢 測(cè) ： 分 析 BP網(wǎng) 絡(luò) 結(jié) 構(gòu) 特 點(diǎn) ： 1. BP網(wǎng) 絡(luò) 具 有 一 層 或 多 層隱 含 層 ， 與 其 他 網(wǎng) 絡(luò) 模 型 除了 結(jié) 構(gòu) 不 同 外 ， 主 要 差 別 表現(xiàn) 在 激 活 函 數(shù) 上 。 BP網(wǎng) 絡(luò) 的 設(shè) 計(jì) 2. BP網(wǎng) 絡(luò) 的 激 活 函 數(shù) 必 須是 處 處 可 微 的 ， 所 以 它 就 不能 采 用 二 值 型 的 閥 值 函 數(shù) 0，1或 符 號(hào) 函 數(shù) 1， 1， BP網(wǎng) 絡(luò) 經(jīng)

17、常 使 用 的 是 S型 的 對(duì) 數(shù)或 正 切 激 活 函 數(shù) 和 線 性 函 數(shù) 。 3. 只 有 當(dāng) 希 望 對(duì) 網(wǎng) 絡(luò) 的 輸 出進(jìn) 行 限 制 ， 如 限 制 在 0和 1之間 ， 那 么 在 輸 出 層 應(yīng) 當(dāng) 包 含 S型 激 活 函 數(shù) ， 在 一 般 情 況 下 ，均 是 在 隱 含 層 采 用 S型 激 活 函數(shù) ， 而 輸 出 層 采 用 線 性 激 活函 數(shù) 。 4、 輸 入 和 輸 出 是 并 行 的 模 擬量 ；5、 網(wǎng) 絡(luò) 的 輸 入 輸 出 關(guān) 系 是 各層 連 接 的 權(quán) 因 子 決 定 ， 沒 有固 定 的 算 法 ； 6、 權(quán) 因 子 是 通 過 學(xué) 習(xí) 信

18、 號(hào) 調(diào)節(jié) 的 ， 這 樣 學(xué) 習(xí) 越 多 ， 網(wǎng) 絡(luò)越 聰 明 ；7、 隱 含 層 越 多 ， 網(wǎng) 絡(luò) 輸 出 精度 越 高 ， 且 個(gè) 別 權(quán) 因 子 的 損壞 不 會(huì) 對(duì) 網(wǎng) 絡(luò) 輸 出 產(chǎn) 生 大 的影 響 BP網(wǎng) 絡(luò) 的 設(shè) 計(jì) 1 網(wǎng) 絡(luò) 的 層 數(shù) ： 理 論 上 已 經(jīng) 證 明 ： 具 有 偏 差 和 至 少 一 個(gè) S型隱 含 層 加 上 一 個(gè) 線 性 輸 出 層 的 網(wǎng) 絡(luò) ， 能 夠 逼 近任 何 有 理 函 數(shù) 。 增 加 層 數(shù) 主 要 可 以 更 進(jìn) 一 步 的 降 低 誤 差 ， 提高 精 度 ， 但 同 時(shí) 也 使 網(wǎng) 絡(luò) 復(fù) 雜 化 ， 從 而 增 加 了網(wǎng)

19、 絡(luò) 權(quán) 值 的 訓(xùn) 練 時(shí) 間 。 一 般 情 況 下 ， 應(yīng) 優(yōu) 先 考 慮 增 加 隱 含 層 中 的 神經(jīng) 元 數(shù) 。 能 不 能 僅 用 具 有 非 線 性 激 活 函 數(shù) 的 單 層 網(wǎng) 絡(luò)來 解 決 問 題 呢 ？ 結(jié) 論 是 ： 沒 有 必 要 或 效 果 不 好 。 2 隱 含 層 的 神 經(jīng) 元 數(shù) 網(wǎng) 絡(luò) 訓(xùn) 練 精 度 的 提 高 ， 可 以 通 過 采 用一 個(gè) 隱 含 層 ， 而 增 加 其 神 經(jīng) 元 數(shù) 的 方 法來 獲 得 。 這 在 結(jié) 構(gòu) 實(shí) 現(xiàn) 上 ， 要 比 增 加 更多 的 隱 含 層 要 簡(jiǎn) 單 得 多 。 在 具 體 設(shè) 計(jì) 時(shí) ， 比 較 實(shí)

20、際 的 做 法 是 通過 對(duì) 不 同 神 經(jīng) 元 數(shù) 進(jìn) 行 訓(xùn) 練 對(duì) 比 ， 然 后適 當(dāng) 地 加 上 一 點(diǎn) 余 量 。 3） 初 始 權(quán) 值 的 選 取一 般 取 初 始 權(quán) 值 在 (-1， 1)之 間 的 隨 機(jī) 數(shù) 。在 MATLAB工 具 箱 中 可 采 用 函 數(shù) initff.m來 初 始化 權(quán) 值 閾 值 。 由 于 每 次 訓(xùn) 練 時(shí) 都 對(duì) 權(quán) 值 進(jìn) 行 隨 機(jī) 初 始 化 ， 所以 每 次 訓(xùn) 練 得 到 的 網(wǎng) 絡(luò) 權(quán) 值 都 是 不 一 樣 的 。 4 學(xué) 習(xí) 速 率 學(xué) 習(xí) 速 率 決 定 每 一 次 循 環(huán) 訓(xùn) 練 中 所 產(chǎn)生 的 權(quán) 值 變 化 量 。

21、 大 的 學(xué) 習(xí) 速 率 可 能 導(dǎo) 致 系 統(tǒng) 的 不 穩(wěn) 定 。 小 的 學(xué) 習(xí) 速 率 導(dǎo) 致 較 長(zhǎng) 的 訓(xùn) 練 時(shí) 間 ，可 能 收 斂 很 慢 ， 不 過 能 保 證 網(wǎng) 絡(luò) 的 誤 差值 不 跳 出 誤 差 表 面 的 低 谷 而 最 終 趨 于 最小 誤 差 值 。 所 以 在 一 般 情 況 下 ， 傾 向 于 選 取 較 小的 學(xué) 習(xí) 速 率 以 保 證 系 統(tǒng) 的 穩(wěn) 定 性 。 學(xué) 習(xí)速 率 的 選 取 范 圍 在 0 010 8之 間 。 5 期 望 誤 差 的 選 取 在 設(shè) 計(jì) 網(wǎng) 絡(luò) 的 訓(xùn) 練 過 程 中 ， 期 望 誤 差 值 也應(yīng) 當(dāng) 通 過 對(duì) 比 訓(xùn)

22、練 后 確 定 一 個(gè) 合 適 的 值 。 這 個(gè) 所 謂 的 “ 合 適 ” ， 是 相 對(duì) 于 所 需 要 的隱 含 層 的 節(jié) 點(diǎn) 數(shù) 來 確 定 ， 因 為 較 小 的 期 望 誤 差值 是 要 靠 增 加 隱 含 層 的 節(jié) 點(diǎn) ， 以 及 訓(xùn) 練 時(shí) 間 來獲 得 的 。 一 般 情 況 下 ， 作 為 對(duì) 比 ， 可 以 同 時(shí) 對(duì) 兩 個(gè)不 同 期 望 誤 差 值 的 網(wǎng) 絡(luò) 進(jìn) 行 訓(xùn) 練 ， 最 后 通 過 綜合 因 素 的 考 慮 來 確 定 采 用 其 中 一 個(gè) 網(wǎng) 絡(luò) 。 BP網(wǎng) 絡(luò) 的 局 限 與 不 足(1)需 要 較 長(zhǎng) 的 訓(xùn) 練 時(shí) 間 因 為 涉 及 到

23、 求 導(dǎo) 的 運(yùn) 算 ， 需 要 的 時(shí) 間 較 長(zhǎng)(2)訓(xùn) 練 癱 瘓 問 題通 常 為 了 避 免 這 種 現(xiàn) 象 的 發(fā) 生 ， 一 是 選 取 較 小 的初 始 權(quán) 值 ， 二 是 采 用 較 小 的 學(xué) 習(xí) 速 率 ， 但 這 又 增加 了 訓(xùn) 練 時(shí) 間 。 (3)局 部 極 小 值BP算 法 可 以 使 網(wǎng) 絡(luò) 權(quán) 值 收 斂 到 一 個(gè) 解 ， 但 它并 不 能 保 證 所 求 為 誤 差 超 平 面 的 全 局 最 小 解 ，很 可 能 是 一 個(gè) 局 部 極 小 解 。WE W初 始 值 不 合 適 時(shí) ，可 能 落 入 局 部 極 小 值 。 7.2.11 反 向 傳 播

24、 法 的 改 進(jìn) 方 法 目 標(biāo) ： 為 了 加 快 訓(xùn) 練 速 度 ， 避 免 陷 入 局 部 極 小 值 。1 附 加 動(dòng) 量 法 附 加 動(dòng) 量 法 使 網(wǎng) 絡(luò) 在 修 正 其 權(quán) 值 時(shí) ， 不 僅 考 慮 誤差 在 梯 度 上 的 作 用 ， 而 且 考 慮 在 誤 差 曲 面 上 變化 趨 勢(shì) 的 影 響 ， 其 作 用 如 同 一 個(gè) 低 通 濾 波 器 ，它 允 許 網(wǎng) 絡(luò) 忽 略 網(wǎng) 絡(luò) 上 的 微 小 變 化 特 性 。 利 用 附 加 動(dòng) 量 的 作 用 則 有 可 能 滑 過 局 部 極 小 值 。 該 方 法 是 在 反 向 傳 播 法 的 基 礎(chǔ) 上 在 每 一 個(gè)

25、權(quán) 值 的 變 化 上 加 上 一 項(xiàng) 正 比 于 前 次 權(quán) 值 變 化 量的 值 ， 并 根 據(jù) 反 向 傳 播 法 來 產(chǎn) 生 新 的 權(quán) 值 變 化 。 附 加 動(dòng) 量 法 的 實(shí) 質(zhì) 是 將 最 后 一 次 權(quán) 值 變 化的 影 響 ， 通 過 一 個(gè) 動(dòng) 量 因 子 來 傳 遞 。 當(dāng) 動(dòng) 量 因子 取 值 為 零 時(shí) ， 權(quán) 值 的 變 化 僅 是 根 據(jù) 梯 度 下 降法 產(chǎn) 生 ； 當(dāng) 動(dòng) 量 因 子 取 值 為 1時(shí) ， 新 的 權(quán) 值 變化 則 是 設(shè) 置 為 最 后 一 次 權(quán) 值 的 變 化 ， 而 依 梯 度法 產(chǎn) 生 的 變 化 部 分 則 被 忽 略 掉 了 。

26、 2 誤 差 函 數(shù) 的 改 進(jìn) 包 穆 (Baum)等 人 于 1988年 提 出 一 種 誤 差 函 數(shù) 為 ： 不 會(huì) 產(chǎn) 生 不 能 完 全 訓(xùn) 練 的 癱 瘓 現(xiàn) 象 。 3 自 適 應(yīng) 學(xué) 習(xí) 速 率 學(xué) 習(xí) 率 也 稱 步 長(zhǎng) ， 在 標(biāo) 準(zhǔn) BP 算 法 中 定 為 常 數(shù) ，然 而 在 實(shí) 際 應(yīng) 用 中 ， 很 難 確 定 一 個(gè) 從 始 至 終 都合 適 的 最 佳 學(xué) 習(xí) 率 ， 從 誤 差 曲 面 可 以 看 出 ， 平坦 區(qū) 域 內(nèi) 太 小 會(huì) 使 訓(xùn) 練 次 數(shù) 增 加 而 希 望 增 大 值 ； 而 在 誤 差 變 化 劇 烈 的 區(qū) 域 ， 太 大 會(huì) 因 調(diào)

27、 整量 過 大 而 跨 過 較 宰 的 “ 坑 凹 ” 處 ， 使 訓(xùn) 練 出 現(xiàn)振 蕩 ， 反 而 使 迭 代 次 數(shù) 增 加 。為 了 加 速 收 斂 過 程 ， 一 個(gè) 較 好 的 思 路 是 自 適 應(yīng)改 變 學(xué) 習(xí) 率 ， 使 其 該 大 時(shí) 增 大 ， 該 小 時(shí) 減 小 。 通 常 調(diào) 節(jié) 學(xué) 習(xí) 速 率 的 準(zhǔn) 則 是 ： 檢 查 權(quán) 值 的修 正 值 是 否 真 正 降 低 了 誤 差 函 數(shù) ， 如 果 確 實(shí)如 此 ， 則 說 明 所 選 取 的 學(xué) 習(xí) 速 率 值 小 了 ， 可以 對(duì) 其 增 加 一 個(gè) 量 ； 若 不 是 這 樣 ， 而 產(chǎn) 生 了過 調(diào) ， 那 么

28、 就 應(yīng) 該 減 小 學(xué) 習(xí) 速 率 的 值 。 下 式給 出 了 一 種 自 適 應(yīng) 學(xué) 習(xí) 速 率 的 調(diào) 整 公 式 ：MATLAB工 具 箱 中 帶 有 自 適 應(yīng) 學(xué) 習(xí) 速 率 進(jìn) 行 反 向 傳 播 訓(xùn)練 的 函 數(shù) 為 ： trainbpa.m。 它 可 以 訓(xùn) 練 直 至 三 層 網(wǎng) 絡(luò) 。使 用 方 法 為 ：W， B， epochs， TE trainbpa(W， B， F， P， T， TP) 可 以 將 動(dòng) 量 法 和 自 適 應(yīng) 學(xué) 習(xí) 速 率 結(jié) 合 起 來 以 利 用兩 方 面 的 優(yōu) 點(diǎn) 。 這 個(gè) 技 術(shù) 已 編 入 了 函 數(shù)trainbpx.m之 中 。

29、 這 個(gè) 函 數(shù) 的 調(diào) 用 和 其 他 函 數(shù) 一樣 ， 只 是 需 要 更 多 的 初 始 參 數(shù) 而 已 ：TP disp_freq max_epoch error_goal lr 1r_inc 1r_dec mom_const err_ratio；W， B， epochs， error; lr trainbpx(W， B，F(xiàn)， P， T， TP) 本 章 小 結(jié) 1)反 向 傳 播 法 可 以 用 來 訓(xùn) 練 具 有 可 微 激 活 函 數(shù) 的多 層 前 向 網(wǎng) 絡(luò) 以 進(jìn) 行 函 數(shù) 逼 近 ， 模 式 分 類 等 工作 ；2)反 向 傳 播 網(wǎng) 絡(luò) 的 結(jié) 構(gòu) 不 完 全 受 所

30、要 解 決 的 問 題所 限 制 。 網(wǎng) 絡(luò) 的 輸 入 神 經(jīng) 元 數(shù) 目 及 輸 出 層 神 經(jīng)元 的 數(shù) 目 是 由 問 題 的 要 求 所 決 定 的 ， 而 輸 入 和輸 出 層 之 間 的 隱 含 層 數(shù) 以 及 每 層 的 神 經(jīng) 元 數(shù) 是由 設(shè) 計(jì) 者 來 決 定 的 ；3)已 證 明 ， 兩 層 S型 線 性 網(wǎng) 絡(luò) ， 如 果 S型 層 有 足 夠的 神 經(jīng) 元 ， 則 能 夠 訓(xùn) 練 出 任 意 輸 入 和 輸 出 之 間的 有 理 函 數(shù) 關(guān) 系 ； 4)反 向 傳 播 法 沿 著 誤 差 表 面 的 梯 度 下 降 ， 使 網(wǎng) 絡(luò)誤 差 最 小 ， 網(wǎng) 絡(luò) 有 可

31、能 陷 入 局 部 極 小 值 ；5)附 加 動(dòng) 量 法 使 反 向 傳 播 減 少 了 網(wǎng) 絡(luò) 在 誤 差 表 面陷 入 低 谷 的 可 能 性 并 有 助 于 減 少 訓(xùn) 練 時(shí) 間 ；6)太 大 的 學(xué) 習(xí) 速 率 導(dǎo) 致 學(xué) 習(xí) 的 不 穩(wěn) 定 ， 太 小 值 又導(dǎo) 致 極 長(zhǎng) 的 訓(xùn) 練 時(shí) 間 。 自 適 應(yīng) 學(xué) 習(xí) 速 率 通 過 在保 證 穩(wěn) 定 訓(xùn) 練 的 前 提 下 ， 達(dá) 到 了 合 理 的 高 速 率 ，可 以 減 少 訓(xùn) 練 時(shí) 間 ；7)80 90 的 實(shí) 際 應(yīng) 用 都 是 采 用 反 向 傳 播 網(wǎng) 絡(luò)的 。 改 進(jìn) 技 術(shù) 可 以 用 來 使 反 向 傳 播

32、法 更 加 容 易實(shí) 現(xiàn) 并 需 要 更 少 的 訓(xùn) 練 時(shí) 間 。 1985年 Powell提 出 多 變 量 插 值 的 徑 向 基 函數(shù) （ Radial Basis Function, RBF） 方 法 ； 1988年 Broomhead&Lowe將 RBF應(yīng) 用于 神 經(jīng) 網(wǎng) 絡(luò)7.3 RBF神 經(jīng) 網(wǎng) 絡(luò) RBF網(wǎng) 絡(luò) 徑 向 基 函 數(shù) 網(wǎng) 絡(luò) （ Radial Basis Function ， 簡(jiǎn) 稱 RBFNN） x1x2xn y1yp輸 入 輸 出是 一 種 三 層 前 饋 網(wǎng) 絡(luò) 網(wǎng) 絡(luò) 特 點(diǎn) ： ） 結(jié) 構(gòu) 相 對(duì) 簡(jiǎn) 單 ） 在 參 數(shù) （ 節(jié) 點(diǎn) 數(shù) ， , ）

33、選 擇 合 適 時(shí) ， 收 斂速 度 快三 層 輸 入 層隱 層 神 經(jīng) 元 函 數(shù) 多 采 用 高 斯 函 數(shù)輸 出 層 線 性 神 經(jīng) 元 函 數(shù) 構(gòu) 成 RBF網(wǎng) 絡(luò) 的 基 本 思 想 ： 1） 用 RBF作 為 隱 單 元 的 “ 基 ” 構(gòu) 成 隱含 層 空 間 ， 將 輸 入 矢 量 直 接 映 射 到 隱 空間 （ 不 通 過 權(quán) 連 接 ） ； 2） 網(wǎng) 絡(luò) 輸 出 時(shí) 隱 單 元 輸 出 的 線 性 加 權(quán)和 ， （ 通 過 權(quán) 連 接 可 調(diào) 參 數(shù) ） 輸 入 隱 層 輸 出 非 線 性 線 性 （ 高 斯 核 函 數(shù) ） c該 激 活 函 數(shù) 具 有 局 部 感 受

34、能 力 ， 只 有 輸 入 落入 某 個(gè) 范 圍 內(nèi) ， 才 有 明 顯 輸 出 ， 不 象 BP， 輸入 在 （ ， ） 均 有 輸 出 。 隱 含 層 節(jié) 點(diǎn) 核 函 數(shù) 作 用 ： 對(duì) 輸 入 信 號(hào) 在 局 部 產(chǎn) 生 響 應(yīng) 網(wǎng) 絡(luò) 輸 出 采 用 高 斯 基 函 數(shù) 的 優(yōu) 點(diǎn) ： 1） 表 示 形 式 簡(jiǎn) 單 2） 徑 向 對(duì) 稱 3） 光 滑 性 好 ， 任 意 階 導(dǎo) 數(shù) 存 在 4） 便 于 進(jìn) 行 理 論 分 析 學(xué) 習(xí) 過 程 分 為 兩 個(gè) 階 段 ：第 一 階 段 無 教 師 學(xué) 習(xí) （ 根 據(jù) 樣 本 決定 隱 含 層 各 節(jié) 點(diǎn) 的 高 斯 核 函 數(shù) 的 中

35、心 向量 ci和 標(biāo) 準(zhǔn) 化 常 數(shù) bi）第 二 階 段 有 教 師 學(xué) 習(xí) （ 求 權(quán) 值 wki)RBF網(wǎng) 絡(luò) 的 學(xué) 習(xí) 算 法 ： ） 無 教 師 （ 監(jiān) 督 ） 學(xué) 習(xí) 修 改 j， j ） 有 教 師 （ 監(jiān) 督 ） 學(xué) 習(xí) 修 改 wj， j 無 教 師 學(xué) 習(xí) 階 段 將 訓(xùn) 練 樣 本 集 中 的 輸 入 向 量 分 為 若 干 族 ， 在 每 個(gè)數(shù) 據(jù) 族 內(nèi) 找 出 一 個(gè) 徑 向 基 函 數(shù) 中 心 向 量 ， 使 得 該族 內(nèi) 各 樣 本 向 量 距 該 族 中 心 的 距 離 最 小 算 法 步 驟 ： 1） 給 定 初 始 中 心 向 量 和 判 定 停 止 計(jì)

36、 算 的 2） 計(jì) 算 距 離 并 求 最 小 距 離 節(jié) 點(diǎn) 3） 調(diào) 整 中 心 4） 判 定 聚 類 質(zhì) 量 BP全 局 逼 近 的 神 經(jīng) 網(wǎng) 絡(luò)RBF局 部 逼 近 的 神 經(jīng) 網(wǎng) 絡(luò) BP算 法 ： 在 函 數(shù) 逼 近 時(shí) 采 用 負(fù) 梯 度 下 降 法調(diào) 節(jié) 權(quán) 值 缺 點(diǎn) ： 收 斂 速 度 慢 ； 局 部 極 小 值 RBF算 法 ： 按 時(shí) 間 片 訓(xùn) 練 網(wǎng) 絡(luò) ， 局 部 逼 近 ， 可以 以 任 意 精 度 逼 近 任 一 連 續(xù) 函 數(shù) 。 BP與 RBF結(jié) 構(gòu) 的 區(qū) 別 ：隱 含 層激 發(fā) 函 數(shù) RBF結(jié) 構(gòu) ： 具 有 單 隱 含 層 的 兩 層 前 向 網(wǎng)

37、 絡(luò) ，隱 含 層 的 激 發(fā) 函 數(shù) ： RBF結(jié) 構(gòu) 比 較 反 傳 （ BP） 網(wǎng) 絡(luò) 的 結(jié) 構(gòu) 圖 一 個(gè) 輸 入 層 ， 一 個(gè) 輸 出 層 ， 多 個(gè) 隱 層 。j pp1xp1x pn t pkt pmOp1O pnOp2隱 層 wj1wjn輸 入 層 隱 層 輸 出 層信 息 流hjpS hpjO pm激 發(fā) 函 數(shù) ： S函 數(shù) RBF網(wǎng) 絡(luò) 有 關(guān) 問 題 RBF與 BP主 要 不 同 點(diǎn) 在 非 線 性 映 射 上 采 用 了 不同 的 作 用 函 數(shù) RBF網(wǎng) 絡(luò) 具 有 唯 一 最 佳 逼 近 ， 無 局 部 極 小 RBF網(wǎng) 絡(luò) 難 點(diǎn) 在 于 中 心 向 量 和 標(biāo) 準(zhǔn) 化 常 數(shù) 的 求解 如 何 選 擇 合 適 徑 向 基 函 數(shù) ， 如 何 確 定 隱 節(jié) 點(diǎn) 數(shù)無 解 決 辦 法 由 于 隱 節(jié) 點(diǎn) 的 中 心 難 求 ， 影 響 其 發(fā) 展 推 廣 RBF學(xué) 習(xí) 速 度 快 ， 適 于 在 線 實(shí) 時(shí) 控 制