非線性參數(shù)估計(jì)的數(shù)值方法.pptx

《非線性參數(shù)估計(jì)的數(shù)值方法.pptx》由會(huì)員分享，可在線閱讀，更多相關(guān)《非線性參數(shù)估計(jì)的數(shù)值方法.pptx（42頁珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

非線性參數(shù)估計(jì)的數(shù)值方法 沈云中 同濟(jì)大學(xué)測(cè)量系E mail yzshen 提要 概述神經(jīng)網(wǎng)絡(luò)算法遺傳算法模擬退火算法 一 神經(jīng)網(wǎng)絡(luò)算法 人工神經(jīng)網(wǎng)絡(luò) ArtificialNeuralNetwork 簡(jiǎn)稱神經(jīng)網(wǎng)絡(luò)或ANN 是模擬人腦信息處理機(jī)制的信息系統(tǒng) 如自組織 自適應(yīng) 容錯(cuò)性等具有自組織 自適應(yīng) 容錯(cuò)性 思維 學(xué)習(xí) 記憶等能力 通過學(xué)習(xí)和記憶而不是假設(shè) 找出輸入 輸出變量之間的非線性關(guān)系 映射 1 1 神經(jīng)網(wǎng)絡(luò)的特點(diǎn) 分布式存儲(chǔ)信息 自適應(yīng)性 具有自我調(diào)節(jié)的能力 包含 學(xué)習(xí) 自組織 泛化及訓(xùn)練 并行性 聯(lián)想記憶功能 自動(dòng)提取特征參數(shù) 容錯(cuò)性 1 2 神經(jīng)元模型 神經(jīng)元 生物神經(jīng)系統(tǒng)是由大量神經(jīng)細(xì)胞 神經(jīng)元 組成的一個(gè)復(fù)雜的互聯(lián)網(wǎng)絡(luò) 神經(jīng)元的數(shù)學(xué)模型 表示神經(jīng)激條件 時(shí) 輸出元素yk 1 2 神經(jīng)元模型 續(xù) 激活函數(shù) 激活函數(shù)f z 有以下幾種形式 1 閾值函數(shù) 2 非線性斜面函數(shù) 3 Sigmoid函數(shù) 1 2 神經(jīng)元模型 續(xù) 神經(jīng)網(wǎng)絡(luò)模型 兩層模型的輸出 1 3 典型的神經(jīng)網(wǎng)絡(luò)模型 BP網(wǎng)絡(luò)模型 BP算法是非循環(huán)多級(jí)網(wǎng)絡(luò)的訓(xùn)練算法 該算法的學(xué)習(xí)過程由正向傳播和反向傳播組成 Hopfield網(wǎng)絡(luò)模型 Hopfield網(wǎng)絡(luò)是一種簡(jiǎn)單且應(yīng)用廣泛的反饋網(wǎng)絡(luò)模型 模糊神經(jīng)網(wǎng)絡(luò) FNN 神經(jīng)網(wǎng)絡(luò)與模糊邏輯有機(jī)結(jié)合 有兩類 1 神經(jīng)網(wǎng)絡(luò)中應(yīng)用模糊邏輯規(guī)則 2 模糊邏輯規(guī)則用神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn) 1 4 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)與推理方法 BP網(wǎng)絡(luò)的學(xué)習(xí) 其實(shí)質(zhì)是確定相鄰層神經(jīng)元間的連接權(quán) 有兩類學(xué)習(xí) 有教師學(xué)習(xí)和無教師學(xué)習(xí) 前者已知網(wǎng)絡(luò)的目標(biāo)輸出 后者則無目標(biāo)輸出 BP網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則 輸入x 網(wǎng)絡(luò)輸出y 與目標(biāo)輸出d間存在誤差 調(diào)節(jié)連接權(quán)和閾值 使誤差減小 達(dá)到不大于目標(biāo)誤差的要求 誤差函數(shù)為 誤差的導(dǎo)數(shù) 1 4 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)與推理方法 續(xù) 其中 因此 有 代入最速下降法迭代關(guān)系 得學(xué)習(xí)規(guī)則 BP網(wǎng)絡(luò)的學(xué)習(xí)過程 1 4 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)與推理方法 續(xù) 1 信息的正向傳播過程 從第r 1層到第r層傳播 輸入為 輸出為 其中 從輸入層通過隱層到輸出層的傳播為 1 4 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)與推理方法 續(xù) 2 誤差的反向傳播過程 誤差函數(shù) 連接權(quán)和閾值的更公式 輸出層 隱層 誤差反向傳播過程可表示為 1 4 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)與推理方法 續(xù) 3 基本BP算法 基本BP算法的具體步驟如下 1 輸入共有q組訓(xùn)練樣本的樣本集 2 設(shè)計(jì)網(wǎng)絡(luò)層數(shù) 每層神經(jīng)元數(shù) 激活函數(shù) 權(quán)值和閾值初始化 設(shè)置目標(biāo)誤差 學(xué)習(xí)速率 最大訓(xùn)練次數(shù)T 3 初始化訓(xùn)練次數(shù)t 0 4 p 1 總誤差E 0 5 輸入網(wǎng)絡(luò)一對(duì)訓(xùn)練樣本 最后一層輸出 1 4 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)與推理方法 續(xù) 基本BP算法 7 計(jì)算的網(wǎng)誤差 8 通過網(wǎng)絡(luò)將 反向傳播 9 修正網(wǎng)絡(luò)的權(quán)值和閾值 10 如果p q 那么p p 1 轉(zhuǎn)到 5 否則 轉(zhuǎn)到 11 11 12 如果E 那么訓(xùn)練成功 轉(zhuǎn)到 14 否則 轉(zhuǎn)到 13 13 如果t T 那么t t 1 轉(zhuǎn)到 4 否則 訓(xùn)練未成功 轉(zhuǎn)到 14 14 結(jié)束 二 遺傳算法原理 遺傳算法 GeneticAlgorithm GA 起源于應(yīng)用計(jì)算機(jī)模擬生物進(jìn)化系統(tǒng) 基本原理 1 將優(yōu)化問題離散后的各個(gè)可行解 編碼 成 個(gè)體 或染色體 一群個(gè)體組成 種群 2 將參數(shù)編碼個(gè)體 如二進(jìn)制字符串 各個(gè)字符 二進(jìn)制碼0或1 稱為 基因 3 父代初始種群隨機(jī)產(chǎn)生 4 模擬生物進(jìn)化 選擇 適應(yīng)度 如優(yōu)化問題的目標(biāo)函數(shù) 高的個(gè)體 進(jìn)行 交叉 和 變異 操作 生成子代種群 選擇 交叉 和 變異 是遺傳算法的三個(gè)基本操作算子 5 對(duì)子代種群 再進(jìn)行選擇 交叉和變異操作 直至收斂 6 收斂的最優(yōu)個(gè)體 對(duì)應(yīng)于問題的最優(yōu)或次優(yōu)解 2 1遺傳算法計(jì)算步驟 遺傳算法的計(jì)算步驟 對(duì)參數(shù)離散化 確定編碼方案 隨機(jī)給定一組初始解 確定初始化種群 用適應(yīng)度評(píng)價(jià)這組解的性能 根據(jù)評(píng)價(jià)結(jié)果 選擇一定數(shù)量性能優(yōu)異的解 進(jìn)行交叉 變異操作 得到一組新的解 返回到第2步 對(duì)該組新的解進(jìn)行評(píng)價(jià) 若評(píng)價(jià)結(jié)果滿足要求或進(jìn)化過程達(dá)到設(shè)定的代數(shù) 計(jì)算結(jié)束 否則轉(zhuǎn)向第3步 繼續(xù)進(jìn)行交叉 變異操作 遺傳算法原理框圖 2 2介紹遺傳算法結(jié)合的簡(jiǎn)單算例 例7 2 對(duì)某兩點(diǎn)的距離用不同的方法丈量了5次 相應(yīng)的觀測(cè)值和觀測(cè)權(quán)如表7 7所示 用遺傳算法求解該段距離的最優(yōu)估值 2 3遺傳編碼與譯碼 參數(shù)空間到GA編碼空間的映射稱為編碼 從編碼空間到參數(shù)空間的映射為解碼 參數(shù)空間中所有的點(diǎn) 潛在解 必須與GA編碼空間中的個(gè)體必須一一對(duì)應(yīng) 稱為編碼條件 2 3遺傳編碼與譯碼 個(gè)體位串編碼空間到參數(shù)空間的映射為譯碼 譯碼函數(shù) 為 算例的編碼 長(zhǎng)度為L(zhǎng) 5的二進(jìn)制編碼 編碼精度為 2 4適應(yīng)度函數(shù) 2 5遺傳算子 選擇算子 輪盤賭式選擇法 適應(yīng)值為該個(gè)體被選擇的概率為 被選擇到的期望數(shù)目 排序選擇法 各個(gè)體的適應(yīng)值滿足降序排列 即 各個(gè)體被選擇的期望數(shù)量按等差序列排列 2 5遺傳算子 交叉算子 交叉操作的主要步驟如下 1 從交配池中隨機(jī)取出交叉操作的一對(duì)個(gè)體 2 位串長(zhǎng)度L 交叉點(diǎn)數(shù)K 在 0 L 1 中隨機(jī)選擇K個(gè)基因位作交叉位置 3 根據(jù)交叉位置 按交叉概率交換配對(duì)個(gè)體部分內(nèi)容 形成一對(duì)新的個(gè)體 2 5遺傳算子 均勻交叉 每一位基因按交叉概率1 2 進(jìn)行交叉操作 其中 2 5遺傳算子 變異算子 按小概率改變個(gè)體基因的值 其作用 1 改變遺傳算法的局部搜索能力 2 維持種群的多樣性 防止出現(xiàn)早熟現(xiàn)象 經(jīng)變異生成 則有 遺傳算例 選擇操作 根據(jù)例7 2的數(shù)據(jù) 適應(yīng)度函數(shù) 7 4 12 式 在采用L 5的二進(jìn)制編碼 若種群規(guī)模為n 4 隨機(jī)抽樣初始種群 根據(jù)適應(yīng)值排序選擇個(gè)數(shù)為 2 1 1 0 遺傳算例 交叉操作 按交叉概率0 8進(jìn)行交叉操作得 遺傳算例 變異操作 按變異概率0 05實(shí)施變異操作 在此基礎(chǔ)上 再用排序選擇結(jié)合精英選擇確定進(jìn)入交配池的種群 再實(shí)施交叉和變異操作 直到適應(yīng)值指標(biāo)或最大進(jìn)化代數(shù)達(dá)到設(shè)定的要求 事實(shí)上 表7 11中的最優(yōu)個(gè)體位串01011的實(shí)參數(shù)20 1355已經(jīng)接近 7 4 2 式給出的最優(yōu)解20 1318 2 6 終止判斷與控制參數(shù)的選擇 終止判斷預(yù)先設(shè)定的遺傳代數(shù)則終止遺傳算法前后兩代的最優(yōu)目標(biāo)函數(shù)值和平均目標(biāo)函數(shù)值相同時(shí)控制參數(shù)的選擇編碼長(zhǎng)度 種群規(guī)模n種群進(jìn)化代數(shù)選擇交叉概率變異概率等 2 7遺傳算法的特點(diǎn) 遺傳算法適合求解多參數(shù) 多變量 多目標(biāo)和多區(qū)域且連通性較差的優(yōu)化問題 遺傳算法從一個(gè)種群即多個(gè)點(diǎn)而不是一個(gè)點(diǎn)開始搜索 遺傳算法僅用適應(yīng)值來評(píng)價(jià)個(gè)體的性能 基本上不需要搜索空間知識(shí)或其它輔助信息 遺傳算法與神經(jīng)網(wǎng)絡(luò)等算法有較好的兼容性 遺傳算法不是采用確定性轉(zhuǎn)移規(guī)則 而是采用隨機(jī)轉(zhuǎn)移規(guī)則來引導(dǎo)搜索過程朝著更優(yōu)的解區(qū)域移動(dòng) 三 模擬退火 關(guān)于模擬退火的發(fā)展 1953年 MetropolisE RosenbluthA RosenbluthM TellerA andTellerE 發(fā)表在JChemPhys 1983年 Kirkpatrick GelattandVecchi發(fā)表在Science 現(xiàn)在廣泛用于科學(xué)與工程的各種領(lǐng)域 1985應(yīng)用于地球物理 2001應(yīng)用于大地測(cè)量 這部份摘自徐培亮的講稿 模擬退火的物理背景 將固體加熱成液體 使其原子自由排列 將液體冷卻 使其結(jié)晶 變成為理想結(jié)晶態(tài) 理想結(jié)晶態(tài) 物理上能量最小的狀態(tài) 數(shù)學(xué)上全局最優(yōu) 3 1模擬退火的物理背景 BasicelementsofSimulatedannealingHowtotranslatethephysicalprocessofannealingintoamathematicalalgorithm ProblemstoSolve Howtoconnectitwithoptimization theenergystate costfunctionHowtocoolmathematically evolvingthestate searching 3 2模擬退火的物理背景 3 3模擬退火算法步驟 1 Startingwithaninitialstate point 2 Perturbingthecurrentstate point 3 Decidingwhethertheperturbedstatecanbeaccepted 4 Repeatingtheaboveprocedure 2 Perturbingthecurrentstate point OriginalMetropolis algorithmrandomsamplingwithauniformdistributiontomovefromonepointtothenext 3 Decidingwhethertheperturbedstatecanbeaccepted i Ifanimprovedsolutionisobtained accepted ii Otherwise useaprobabilitytodecideitsfate Example SAAlgorithmistheobjectivefunction afterAartsandKorst 1989 Heretodecidewhetheraworsemoveshouldbeaccepted withaprobability akindofperturbation Thisparameterplaystheroleoftemperature Example AveryfastSAAlgorithmMainpointsfrombasic Drawrandomnumbersbyusing1DCauchyforeachcomponenttocountfordifferentscalings 2 Usedifferentcoolingschedulesduringiterations dependingontheratioofmaximumfunctionderivativetoitscurrentderivativevalue Inger1989 canbeaproblemitself Example SAAlgorithmwithCauchydistributiontorandomlymovetothenextpoint afterSen Stoffa1995 Obviously ifTissmall onlypointsnearthecurrentstatewillhaveachancetoselect Example SAAlgorithmwithdifferentcoolingschedules afterSen Stoffa1995 Example Liuetal 1995 reportedthefailureofSAtofindtheglobalminimumofthisnicefunction withthecoolingschedule T k 0 13 0 98 k TheProcessofSimulatedAnnealinganditsLimitations Randomlydistributedstate StateIinthecoolingprocess StateJinthecoolingprocess Crystalstate idealizedbutunlikelyunreachable Cooling Cooling NoHope 謝謝