非線性參數(shù)估計的數(shù)值方法.pptx

《非線性參數(shù)估計的數(shù)值方法.pptx》由會員分享，可在線閱讀，更多相關(guān)《非線性參數(shù)估計的數(shù)值方法.pptx（42頁珍藏版）》請在裝配圖網(wǎng)上搜索。

非線性參數(shù)估計的數(shù)值方法 沈云中 同濟大學測量系E mail yzshen 提要 概述神經(jīng)網(wǎng)絡(luò)算法遺傳算法模擬退火算法 一 神經(jīng)網(wǎng)絡(luò)算法 人工神經(jīng)網(wǎng)絡(luò) ArtificialNeuralNetwork 簡稱神經(jīng)網(wǎng)絡(luò)或ANN 是模擬人腦信息處理機制的信息系統(tǒng) 如自組織 自適應(yīng) 容錯性等具有自組織 自適應(yīng) 容錯性 思維 學習 記憶等能力 通過學習和記憶而不是假設(shè) 找出輸入 輸出變量之間的非線性關(guān)系 映射 1 1 神經(jīng)網(wǎng)絡(luò)的特點 分布式存儲信息 自適應(yīng)性 具有自我調(diào)節(jié)的能力 包含 學習 自組織 泛化及訓練 并行性 聯(lián)想記憶功能 自動提取特征參數(shù) 容錯性 1 2 神經(jīng)元模型 神經(jīng)元 生物神經(jīng)系統(tǒng)是由大量神經(jīng)細胞 神經(jīng)元 組成的一個復雜的互聯(lián)網(wǎng)絡(luò) 神經(jīng)元的數(shù)學模型 表示神經(jīng)激條件 時 輸出元素yk 1 2 神經(jīng)元模型 續(xù) 激活函數(shù) 激活函數(shù)f z 有以下幾種形式 1 閾值函數(shù) 2 非線性斜面函數(shù) 3 Sigmoid函數(shù) 1 2 神經(jīng)元模型 續(xù) 神經(jīng)網(wǎng)絡(luò)模型 兩層模型的輸出 1 3 典型的神經(jīng)網(wǎng)絡(luò)模型 BP網(wǎng)絡(luò)模型 BP算法是非循環(huán)多級網(wǎng)絡(luò)的訓練算法 該算法的學習過程由正向傳播和反向傳播組成 Hopfield網(wǎng)絡(luò)模型 Hopfield網(wǎng)絡(luò)是一種簡單且應(yīng)用廣泛的反饋網(wǎng)絡(luò)模型 模糊神經(jīng)網(wǎng)絡(luò) FNN 神經(jīng)網(wǎng)絡(luò)與模糊邏輯有機結(jié)合 有兩類 1 神經(jīng)網(wǎng)絡(luò)中應(yīng)用模糊邏輯規(guī)則 2 模糊邏輯規(guī)則用神經(jīng)網(wǎng)絡(luò)來實現(xiàn) 1 4 神經(jīng)網(wǎng)絡(luò)的學習與推理方法 BP網(wǎng)絡(luò)的學習 其實質(zhì)是確定相鄰層神經(jīng)元間的連接權(quán) 有兩類學習 有教師學習和無教師學習 前者已知網(wǎng)絡(luò)的目標輸出 后者則無目標輸出 BP網(wǎng)絡(luò)的學習規(guī)則 輸入x 網(wǎng)絡(luò)輸出y 與目標輸出d間存在誤差 調(diào)節(jié)連接權(quán)和閾值 使誤差減小 達到不大于目標誤差的要求 誤差函數(shù)為 誤差的導數(shù) 1 4 神經(jīng)網(wǎng)絡(luò)的學習與推理方法 續(xù) 其中 因此 有 代入最速下降法迭代關(guān)系 得學習規(guī)則 BP網(wǎng)絡(luò)的學習過程 1 4 神經(jīng)網(wǎng)絡(luò)的學習與推理方法 續(xù) 1 信息的正向傳播過程 從第r 1層到第r層傳播 輸入為 輸出為 其中 從輸入層通過隱層到輸出層的傳播為 1 4 神經(jīng)網(wǎng)絡(luò)的學習與推理方法 續(xù) 2 誤差的反向傳播過程 誤差函數(shù) 連接權(quán)和閾值的更公式 輸出層 隱層 誤差反向傳播過程可表示為 1 4 神經(jīng)網(wǎng)絡(luò)的學習與推理方法 續(xù) 3 基本BP算法 基本BP算法的具體步驟如下 1 輸入共有q組訓練樣本的樣本集 2 設(shè)計網(wǎng)絡(luò)層數(shù) 每層神經(jīng)元數(shù) 激活函數(shù) 權(quán)值和閾值初始化 設(shè)置目標誤差 學習速率 最大訓練次數(shù)T 3 初始化訓練次數(shù)t 0 4 p 1 總誤差E 0 5 輸入網(wǎng)絡(luò)一對訓練樣本 最后一層輸出 1 4 神經(jīng)網(wǎng)絡(luò)的學習與推理方法 續(xù) 基本BP算法 7 計算的網(wǎng)誤差 8 通過網(wǎng)絡(luò)將 反向傳播 9 修正網(wǎng)絡(luò)的權(quán)值和閾值 10 如果p q 那么p p 1 轉(zhuǎn)到 5 否則 轉(zhuǎn)到 11 11 12 如果E 那么訓練成功 轉(zhuǎn)到 14 否則 轉(zhuǎn)到 13 13 如果t T 那么t t 1 轉(zhuǎn)到 4 否則 訓練未成功 轉(zhuǎn)到 14 14 結(jié)束 二 遺傳算法原理 遺傳算法 GeneticAlgorithm GA 起源于應(yīng)用計算機模擬生物進化系統(tǒng) 基本原理 1 將優(yōu)化問題離散后的各個可行解 編碼 成 個體 或染色體 一群個體組成 種群 2 將參數(shù)編碼個體 如二進制字符串 各個字符 二進制碼0或1 稱為 基因 3 父代初始種群隨機產(chǎn)生 4 模擬生物進化 選擇 適應(yīng)度 如優(yōu)化問題的目標函數(shù) 高的個體 進行 交叉 和 變異 操作 生成子代種群 選擇 交叉 和 變異 是遺傳算法的三個基本操作算子 5 對子代種群 再進行選擇 交叉和變異操作 直至收斂 6 收斂的最優(yōu)個體 對應(yīng)于問題的最優(yōu)或次優(yōu)解 2 1遺傳算法計算步驟 遺傳算法的計算步驟 對參數(shù)離散化 確定編碼方案 隨機給定一組初始解 確定初始化種群 用適應(yīng)度評價這組解的性能 根據(jù)評價結(jié)果 選擇一定數(shù)量性能優(yōu)異的解 進行交叉 變異操作 得到一組新的解 返回到第2步 對該組新的解進行評價 若評價結(jié)果滿足要求或進化過程達到設(shè)定的代數(shù) 計算結(jié)束 否則轉(zhuǎn)向第3步 繼續(xù)進行交叉 變異操作 遺傳算法原理框圖 2 2介紹遺傳算法結(jié)合的簡單算例 例7 2 對某兩點的距離用不同的方法丈量了5次 相應(yīng)的觀測值和觀測權(quán)如表7 7所示 用遺傳算法求解該段距離的最優(yōu)估值 2 3遺傳編碼與譯碼 參數(shù)空間到GA編碼空間的映射稱為編碼 從編碼空間到參數(shù)空間的映射為解碼 參數(shù)空間中所有的點 潛在解 必須與GA編碼空間中的個體必須一一對應(yīng) 稱為編碼條件 2 3遺傳編碼與譯碼 個體位串編碼空間到參數(shù)空間的映射為譯碼 譯碼函數(shù) 為 算例的編碼 長度為L 5的二進制編碼 編碼精度為 2 4適應(yīng)度函數(shù) 2 5遺傳算子 選擇算子 輪盤賭式選擇法 適應(yīng)值為該個體被選擇的概率為 被選擇到的期望數(shù)目 排序選擇法 各個體的適應(yīng)值滿足降序排列 即 各個體被選擇的期望數(shù)量按等差序列排列 2 5遺傳算子 交叉算子 交叉操作的主要步驟如下 1 從交配池中隨機取出交叉操作的一對個體 2 位串長度L 交叉點數(shù)K 在 0 L 1 中隨機選擇K個基因位作交叉位置 3 根據(jù)交叉位置 按交叉概率交換配對個體部分內(nèi)容 形成一對新的個體 2 5遺傳算子 均勻交叉 每一位基因按交叉概率1 2 進行交叉操作 其中 2 5遺傳算子 變異算子 按小概率改變個體基因的值 其作用 1 改變遺傳算法的局部搜索能力 2 維持種群的多樣性 防止出現(xiàn)早熟現(xiàn)象 經(jīng)變異生成 則有 遺傳算例 選擇操作 根據(jù)例7 2的數(shù)據(jù) 適應(yīng)度函數(shù) 7 4 12 式 在采用L 5的二進制編碼 若種群規(guī)模為n 4 隨機抽樣初始種群 根據(jù)適應(yīng)值排序選擇個數(shù)為 2 1 1 0 遺傳算例 交叉操作 按交叉概率0 8進行交叉操作得 遺傳算例 變異操作 按變異概率0 05實施變異操作 在此基礎(chǔ)上 再用排序選擇結(jié)合精英選擇確定進入交配池的種群 再實施交叉和變異操作 直到適應(yīng)值指標或最大進化代數(shù)達到設(shè)定的要求 事實上 表7 11中的最優(yōu)個體位串01011的實參數(shù)20 1355已經(jīng)接近 7 4 2 式給出的最優(yōu)解20 1318 2 6 終止判斷與控制參數(shù)的選擇 終止判斷預(yù)先設(shè)定的遺傳代數(shù)則終止遺傳算法前后兩代的最優(yōu)目標函數(shù)值和平均目標函數(shù)值相同時控制參數(shù)的選擇編碼長度 種群規(guī)模n種群進化代數(shù)選擇交叉概率變異概率等 2 7遺傳算法的特點 遺傳算法適合求解多參數(shù) 多變量 多目標和多區(qū)域且連通性較差的優(yōu)化問題 遺傳算法從一個種群即多個點而不是一個點開始搜索 遺傳算法僅用適應(yīng)值來評價個體的性能 基本上不需要搜索空間知識或其它輔助信息 遺傳算法與神經(jīng)網(wǎng)絡(luò)等算法有較好的兼容性 遺傳算法不是采用確定性轉(zhuǎn)移規(guī)則 而是采用隨機轉(zhuǎn)移規(guī)則來引導搜索過程朝著更優(yōu)的解區(qū)域移動 三 模擬退火 關(guān)于模擬退火的發(fā)展 1953年 MetropolisE RosenbluthA RosenbluthM TellerA andTellerE 發(fā)表在JChemPhys 1983年 Kirkpatrick GelattandVecchi發(fā)表在Science 現(xiàn)在廣泛用于科學與工程的各種領(lǐng)域 1985應(yīng)用于地球物理 2001應(yīng)用于大地測量 這部份摘自徐培亮的講稿 模擬退火的物理背景 將固體加熱成液體 使其原子自由排列 將液體冷卻 使其結(jié)晶 變成為理想結(jié)晶態(tài) 理想結(jié)晶態(tài) 物理上能量最小的狀態(tài) 數(shù)學上全局最優(yōu) 3 1模擬退火的物理背景 BasicelementsofSimulatedannealingHowtotranslatethephysicalprocessofannealingintoamathematicalalgorithm ProblemstoSolve Howtoconnectitwithoptimization theenergystate costfunctionHowtocoolmathematically evolvingthestate searching 3 2模擬退火的物理背景 3 3模擬退火算法步驟 1 Startingwithaninitialstate point 2 Perturbingthecurrentstate point 3 Decidingwhethertheperturbedstatecanbeaccepted 4 Repeatingtheaboveprocedure 2 Perturbingthecurrentstate point OriginalMetropolis algorithmrandomsamplingwithauniformdistributiontomovefromonepointtothenext 3 Decidingwhethertheperturbedstatecanbeaccepted i Ifanimprovedsolutionisobtained accepted ii Otherwise useaprobabilitytodecideitsfate Example SAAlgorithmistheobjectivefunction afterAartsandKorst 1989 Heretodecidewhetheraworsemoveshouldbeaccepted withaprobability akindofperturbation Thisparameterplaystheroleoftemperature Example AveryfastSAAlgorithmMainpointsfrombasic Drawrandomnumbersbyusing1DCauchyforeachcomponenttocountfordifferentscalings 2 Usedifferentcoolingschedulesduringiterations dependingontheratioofmaximumfunctionderivativetoitscurrentderivativevalue Inger1989 canbeaproblemitself Example SAAlgorithmwithCauchydistributiontorandomlymovetothenextpoint afterSen Stoffa1995 Obviously ifTissmall onlypointsnearthecurrentstatewillhaveachancetoselect Example SAAlgorithmwithdifferentcoolingschedules afterSen Stoffa1995 Example Liuetal 1995 reportedthefailureofSAtofindtheglobalminimumofthisnicefunction withthecoolingschedule T k 0 13 0 98 k TheProcessofSimulatedAnnealinganditsLimitations Randomlydistributedstate StateIinthecoolingprocess StateJinthecoolingprocess Crystalstate idealizedbutunlikelyunreachable Cooling Cooling NoHope 謝謝