高等數(shù)值分析(曲線擬合).ppt

《高等數(shù)值分析(曲線擬合).ppt》由會(huì)員分享，可在線閱讀，更多相關(guān)《高等數(shù)值分析(曲線擬合).ppt（37頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

1、高等數(shù)值分析曲 線 擬 合XXX2012.11.27 主要內(nèi)容u 擬 合 的 基 本 概 念 和 最 小 二 乘 原 理u 解 線 性 超 定 方 程 組u 最 小 二 乘 擬 合 問(wèn) 題 的 一 般 解 法 線 性 組 合 模 型 下 最 小 二 乘 擬 合 的 一 般 解 法常 用 的 線 性 組 合 模 型 的 最 小 二 乘 解u廣 義 最 小 二 乘 擬 合 問(wèn) 題 為 了 測(cè) 定 兩 個(gè) 變 量 x和 y之 間 的 函 數(shù) 關(guān) 系 ， 可 以通 過(guò) 實(shí) 驗(yàn) 得 到 一 系 列 離 散 的 數(shù) 據(jù) 點(diǎn) ， 然 而 這些 數(shù) 據(jù) 點(diǎn) 可 能 存 在 一 定 的 觀 察 誤 差 。 如

2、何 利 用 這 些帶 誤 差 的 數(shù) 據(jù) 點(diǎn) 得 到 變 量 之 間 的 函 數(shù) 關(guān) 系 呢 ？ ii yx ,擬 合 的 基 本 概 念 和 最 小 二 乘 原 理 x 把 數(shù) 據(jù) 點(diǎn) 在 坐 標(biāo) 圖 上描 出 ， 得 到 散 點(diǎn) 圖由 于 數(shù) 據(jù) 量 大 ， 高 次 插 值 會(huì) 引 起 嚴(yán)重 誤 差 ， 分 段 插 值 則 會(huì) 使 函 數(shù) 非 常復(fù) 雜 ， 并 且 保 留 了 原 始 數(shù) 據(jù) 的 誤 差 。 利 用 線 性 函 數(shù) 擬 合插 值 觀 察 到 x 和y 之 間 大 致呈 線 性 關(guān) 系我 們 不 要 求 逼 近 函 數(shù) 通 過(guò) 所 有 數(shù) 據(jù)點(diǎn) ， 而 是 希 望 逼 近 函

3、 數(shù) 的 形 式 相 對(duì)簡(jiǎn) 單 ， 并 且 與 各 數(shù) 據(jù) 點(diǎn) 的 偏 差 在 某種 標(biāo) 準(zhǔn) 下 最 小 化 ， 這 就 是 擬 合 。 插 值 與 擬 合 這 兩 類 函 數(shù) 逼 近 方 法 的 比 較插 值 擬 合適 用 條 件 給 定 一 系 列 原 始 數(shù) 據(jù) 點(diǎn) 原 始 數(shù) 據(jù) 一 般 比 較 精 確 數(shù) 據(jù) 量 少 給 定 一 系 列 原 始 數(shù) 據(jù) 點(diǎn) 原 始 數(shù) 據(jù) 一 般 帶 有 一 定 的 誤 差 數(shù) 據(jù) 量 較 大逼 近 函 數(shù) 常 常 采 用 多 項(xiàng) 式 作 為 插 值 函 數(shù) 當(dāng) 數(shù) 據(jù) 點(diǎn) 較 多 時(shí) ， 采 用 單 個(gè) 高次 多 項(xiàng) 式 進(jìn) 行 插 值 會(huì) 引 起

4、 龍 格現(xiàn) 象 ， 產(chǎn) 生 震 蕩 ， 因 此 需 要 采用 分 段 、 樣 條 等 插 值 方 法 ， 此時(shí) 插 值 函 數(shù) 是 一 個(gè) 分 段 函 數(shù) 。 可 以 根 據(jù) 實(shí) 踐 者 的 經(jīng) 驗(yàn) 知 識(shí) 和 實(shí) 際 應(yīng)用 需 要 ， 選 擇 簡(jiǎn) 單 、 合 適 的 函 數(shù) 類 型進(jìn) 行 擬 合 。 擬 合 函 數(shù) 可 以 是 多 項(xiàng) 式 、三 角 函 數(shù) 、 指 數(shù) 函 數(shù) 等 各 種 不 同 形 式 。特 點(diǎn) 插 值 函 數(shù) y=(x) 必 須 通 過(guò) 所 有 插值 點(diǎn) ， 即 對(duì) 任 意 ， 有 不 要 求 擬 合 函 數(shù) y=p(x) 一 定 通 過(guò) 數(shù)據(jù) 點(diǎn) ， 而 要 求 p(x

5、)能 反 映 數(shù) 據(jù) 點(diǎn) 的 變 化 趨 勢(shì) ， 即 偏 差 在 某種 度 量 標(biāo) 準(zhǔn) (如 最 小 二 乘 標(biāo) 準(zhǔn) ) 下 最 小圖 標(biāo) ii yx,)( ii xy iii yxpr )( ii yx, ii yx , 評(píng) 價(jià) 擬 合 函 數(shù) 數(shù) y=p(x) 與 原 始 數(shù) 據(jù) 之 間 的 偏 差 情 況 （ 如 下 圖 ） 通 常 有 以下 幾 種 方 法 ： (1) 使 擬 合 函 數(shù) 與 各 個(gè) 原 始 數(shù) 據(jù) 的 偏 差 的 絕 對(duì) 值 的 最 大 值 最 小 化 ， 即 最小 化的 值 。 其 中 為 原 始 數(shù) 據(jù) 。 這 實(shí) 際 上 對(duì) 應(yīng) 于 向 量的 -范 數(shù) Tmrr

6、r ),( 10 ，r |)(|max|max 00 iimiimi yxpr ii yx, (2) 使 擬 合 函 數(shù) 與 各 個(gè) 數(shù) 據(jù) 的 偏 差 的 絕 對(duì) 值 之和 最 小 化 ， 即 最 小 化 的 值 。 這 實(shí) 際 上 對(duì) 應(yīng) 于 向 量 r 的 1-范 數(shù) 。 mi iimi i yxpr 00 |)(| (3) 使 擬 合 函 數(shù) 與 各 個(gè) 數(shù) 據(jù) 的 偏 差 的 平 方 和 最 小 化 ， 即 最 小 化的 值 。 這 實(shí) 際 上 對(duì) 應(yīng) 于 向 量 r 的 2-范 數(shù) 的 平 方 。 mi iimi i yxpr 0 20 2 )( 定 義 1 最 小 二 乘 擬 合

7、 問(wèn) 題 給 定 數(shù) 據(jù) 點(diǎn) 選 擇 合 適 的 函 數(shù) 類 型 ， 求該 函 數(shù) 類 型 中 的 一 個(gè) 函 數(shù) ， 使 得 p(x) 在 各 個(gè) 數(shù) 據(jù) 點(diǎn) 上 的 偏 差 的 平 方 和 最 小 化 ， 即 , 1100 mm yxyxyx )(xpiii yxpr )( mi ir0 2min 這 個(gè) 最 小 化 問(wèn) 題 即 為 最 小 二 乘 擬 合 問(wèn) 題 ， 擬 合 函 數(shù) p(x) 稱 為 上述 實(shí) 驗(yàn) 數(shù) 據(jù) 的 最 小 二 乘 解 ， 求 擬 合 函 數(shù) p(x) 的 過(guò) 程 則 稱 為 曲 線 擬 合 的最 小 二 乘 法 。 例 1、 已 知 氣 壓 存 在 隨 著 海

8、 拔 高 度 的 上 升 而 下 降 的 關(guān) 系 ， 表 1給 出 了 在 某 地 粗 略 測(cè) 得的 不 同 海 拔 高 度 時(shí) 的 氣 壓 值 。 利 用 這 些 數(shù) 據(jù) ， 試 尋 找 氣 壓 與 海 拔 高 度 之 間 的 所 滿 足的 大 致 關(guān) 系 。 表 1 氣 壓 與 海 拔 高 度 關(guān) 系 表 解 : (1)取 海 拔 高 度 為 自 變 量 x， 氣 壓 為 因 變 量 y， 根 據(jù) 表 1所 給 的 40個(gè)數(shù) 據(jù) 點(diǎn) 做 出 如 圖 1所 示 的 散 點(diǎn) 圖 ， 觀 察 x 與 y 之 間 的 分 布 規(guī) 律 。 圖 1 氣 壓 與 海 拔 高 度 散 點(diǎn) 圖 設(shè) y=ax

9、+b,把 40個(gè) 數(shù)據(jù) 點(diǎn) 代 入 ， 得 到 方 程 組 0a+b=1011.5 20a+b=1011 780a+b=949.9 根 據(jù) 最 小 二 乘 原 理 ， 把問(wèn) 題 轉(zhuǎn) 換 為 最 小 化 問(wèn) 題 ， 使擬 合 函 數(shù) 與 數(shù) 據(jù) 點(diǎn) 的 偏 差 的平 方 和 最 小 化 ， 即 390 390 22 )(i i iii ybaxr (2) 從 散 點(diǎn) 圖 可 以 看 出 y 與 x 大 致 成 線 性 關(guān) 系 ， 不 妨 設(shè) 擬 合 函 數(shù) 為 y=ax+b。轉(zhuǎn) 換2個(gè) 未 知 數(shù) ，40個(gè) 方 程 ，無(wú) 解 ！ ！ 這 個(gè) 問(wèn) 題 就可 解 了 ！ 這 類 方 程 個(gè) 數(shù) 大

10、于 未 知 數(shù) 個(gè) 數(shù) 的 方 程 組 稱 為 超 定 方 程 組 ， 一 般 來(lái)說(shuō) 是 無(wú) 解 的 。 (3) 解 函 數(shù) 的 最 小 化 問(wèn) 題 。根 據(jù) 微 積 分 中 求 極 值 的 原 理 ， 對(duì) 求 最 小 值 ，相 當(dāng) 于 分 別 對(duì) a， b求 偏 導(dǎo) 數(shù) ， 其 值 都 為 0， 得 到 以 下 方 程 組 390 2)(),( i ii ybaxbaI 0)(2 0)(239 0390 i iii iii ybaxbI ybaxxaI這 個(gè) 方 程 組 稱 為 上 述 擬 合 問(wèn) 題 的 正 規(guī) 方 程 組 。 解 這 個(gè) 方 程 組 得 到a=-0.077 249 1,

11、b=1010.87。 因 此 ， 所 求 的 擬 合 函 數(shù) 為 y=-0.077 249 1x+1010.87 (4) 觀 察 擬 合 函 數(shù) 對(duì) 原 始 數(shù) 據(jù) 的 擬 合 情 況 ， 決 定 擬 合 結(jié) 果 能 否 被 接受 。 本 例 中 的 擬 合 函 數(shù) 如 下 圖 2所 示 。 可 以 看 到 ， 該 擬 合 函 數(shù) 能 大致 反 映 原 始 數(shù) 據(jù) 點(diǎn) 的 變 化 趨 勢(shì) 。 圖 2 擬 合 函 數(shù) 圖 示 通 過(guò) 上 述 例 子 可 以 看 到 ， 給 定 一 組 帶 有 誤 差 的 實(shí) 驗(yàn) 數(shù) 據(jù) ， 采 用最 小 二 乘 原 理 ， 對(duì) 數(shù) 據(jù) 進(jìn) 行 擬 合 的 基 本

12、 步 驟 包 括 ：步 驟 ： 作 散 點(diǎn) 圖 ， 觀 察 實(shí) 驗(yàn) 數(shù)據(jù) 的 一 般 趨 勢(shì) ， 選 擇 合 適 的擬 合 函 數(shù) 類 型 。步 驟 ： 觀 察 擬 合 函 數(shù) 對(duì) 數(shù) 據(jù) 的擬 合 效 果 ， 如 果 擬 合 效 果 不理 想 ， 則 選 擇 新 的 擬 合 函 數(shù)類 型 ， 按 照 上 述 過(guò) 程 重 新 擬合 。 步 驟 ： 根 據(jù) 擬 合 函 數(shù) 的 類 型 ，選 擇 合 適 的 方 法 ， 求 最 小 二乘 解 。步 驟 ： 根 據(jù) 最 小 二 乘 擬 合 原 理 ，把 問(wèn) 題 轉(zhuǎn) 換 為 使 擬 合 函 數(shù) 與原 始 數(shù) 據(jù) 之 間 偏 差 的 平 方 和最 小 的

13、 問(wèn) 題 。 解 線 性 超 定 方 程 組 方 程 個(gè) 數(shù) 大 于 未 知 數(shù) 個(gè) 數(shù) 的 方 程 組 稱 為超 定 方 程 組 。 一 般 而 言 ， 超 定 方 程 組 是 無(wú) 解的 （ 這 時(shí) 也 稱 為 矛 盾 方 程 組 ） ， 因 此 ， 需 要用 最 小 二 乘 原 理 來(lái) 求 出 超 定 方 程 組 的 最 小 二乘 解 。 不 妨 設(shè) 線 性 超 定 方 程 組 為 mnmnmm nn nn bxaxaxa bxaxaxa bxaxaxa 2211 22222121 11212111其 中 有 mn。 記 nmmnmm nn xxxxbbbbaaa aaa aaaA 211

14、111 22221 11211 ,則 超 定 方 程 組 可 以 寫 成 Ax=b 的 矩 陣 形 式 。 由 于 上 述 超 定 方 程 組 Ax=b 在 一 般 情 況 下 無(wú) 解 ， 因 此 需 要 尋 找 最 小二 乘 解 ， 也 就 是 要 找 到 一 組 使 得最 小 化 。 用 矩 陣 的 形 式 來(lái) 描 述 ， 就 是 要 使即 向 量 Ax-b 的 2-范 數(shù) 的 平 方 最 小 化 。 , 21 nxxx mi nj ijijn bxaxxxI 1 2121 )(),( 2 2bAx為 了 得 到 線 性 超 定 方 程 組 的 最 小 二 乘 解 ， 有 如 下 定 理

15、：定 理 1： x* 是 超 定 方 程 組 Ax=b 的 最 小 二 乘 解 的 充 分 必 要 條 件 是 x* 是方 程 組 的 解 。bAAxA TT 定 理 1： x* 是 超 定 方 程 組 Ax=b 的 最 小 二 乘 解 的 充 分 必 要 條 件 是 x* 是方 程 組 的 解 。bAAxA TT 證 明 ： 先 證 明 充 分 性 。記 (x,y) 為 向 量 x 和 y 的 內(nèi) 積 。 根 據(jù) 向 量 內(nèi) 積 及 2-范 數(shù) 的 定 義 ， 可 知設(shè) x* 是 方 程 組 的 解 ， 并 設(shè) 是 任 意 一 個(gè) n 維 向 量 ， 則 有 ),(| 22 xxx bAAx

16、A TT x 222222 |)(| bAxxxAbAxAxxAbxA )(,)( bAxxxAbAxxxA ),( ),(2)(),( bAxbAx bAxxxAxxAxxA )()(2|)(| )()(2|)(| )()(2|)(| 2222 2222 2222 bAAxAxxbAxxxA bAxAxxbAxxxA bAxxxAbAxxxA TTT TT T 又 因 為 x* 是 方 程 組 的 解 ， 所 以 代 入 上 式 得bAAxA TT 0 bAAxA TT 22222222 |)(| bAxbAxxxAbxA 也 就 是 說(shuō) ， 對(duì) 任 意 n 維 向 量 ， 都 有 ， 所

17、以 x* 是 該超 定 方 程 組 的 最 小 二 乘 解 。 x 2222 | bAxbxA 證 明 ： 下 面 證 明 必 要 性 。定 理 1： x* 是 超 定 方 程 組 Ax=b 的 最 小 二 乘 解 的 充 分 必 要 條 件 是 x* 是方 程 組 的 解 。bAAxA TT 若 向 量 是 超 定 方 程 組 Ax=b 的 最 小 二 乘 解 ， 則 有),( 21 nxxx ， nkabxaxI mi iknj ijijk ,2,10)(2 1 1 求 線 性 超 定 方 程 組 最 小 二 乘 解 的 基 本 方 法 ： 求 超 定 方 程 組 Ax=b 的 最 小 二

18、 乘 解 求 方 程 組 的 解 bAAxA TT mi nj ijijn bxaxxxI 1 2121 )(),( 達(dá) 到 最 小 值 。 根 據(jù) 多 元 函 數(shù) 求 極 值 的 條 件 ， 對(duì) 各 個(gè) 變 量 的 偏 導(dǎo) 數(shù) 值 為 0， 即 ， nkbaxaa mi iiknj jmi ijik ,2,1)( 11 1 改 寫 得 bAAxA TT 根 據(jù) 線 性 代 數(shù) 中 的 矩 陣 相 乘 法 則 ， 上 面 的 式 子 就 對(duì) 應(yīng) 于定 理 證 畢 ！ 例 2、 已 知 超 定 方 程 組求 出 其 最 小 二 乘 解 。 1032 42 521 21 21 xx xx xx解

19、： 方 程 組 的 系 數(shù) 矩 陣 和 右 端 項(xiàng) 為 1045,32 21 11 bA 1045321 21132 21 11321 211 21 xx解 方 程 組 得 ， 即 該 超 定 方 程 組 的 最 小 二 乘 解 是1,319 21 xx 1,319 21 xx 有 定 理 1可 知 ， 求 超 定 方 程 組 的 最 小 二 乘 解 對(duì) 應(yīng) 于 解 下 面 的 方 程 組 4329149 96 21xx即 最 小 二 乘 擬 合 問(wèn) 題 的 一 般 解 法 為 了 便 于 討 論 ， 不 妨 假 設(shè) 離 散 最 小 二 乘 擬 合 問(wèn) 題 的 原 始 數(shù) 據(jù) 是 ， ， 擬

20、合 函 數(shù) 類 型 為 ， 對(duì) 任 意 函 數(shù) ， 有 如 下 形 式其 中 ， x 是 函 數(shù) 的 變 量 ， 是 函 數(shù) 中 的 待 定 系 數(shù) 。 所 能 表 達(dá) 的擬 合 函 數(shù) 類 型 是 多 種 多 樣 的 ， 例 如 ：(1)多 項(xiàng) 式 函 數(shù) ：(2) 三 角 函 數(shù) ：(3) 對(duì) 數(shù) 函 數(shù) ：(4) 指 數(shù) 函 數(shù) ：(5) 雙 曲 函 數(shù) ： 00,yx),(,),( 11 mm yxyx nnxcxccy 10 xccxccy 3210 cossin xcxc ececy 31 20 xccy 21 1 xccy ln10 ),( 10 ncccxy nccc , 10

21、 最 小 二 乘 擬 合 問(wèn) 題 的 求 解 目 標(biāo) 就 是 確 定 待 定 系 數(shù) 的 值 ，得 到 擬 合 函 數(shù) ， 簡(jiǎn) 記 為 p(x)， 使的 值 最 小 化 。 nccc , 10 ),( 10 ncccxp mi iin yxpcccI 0 210 )(),( 一 、 線 性 組 合 模 型 下 最 小 二 乘 擬 合 的 一 般 解 法 下 面 分 別 從 “ 利 用 偏 導(dǎo) 數(shù) 求 多 元 函 數(shù) 極 值 ” 以 及 “ 求 線 性 超 定 方 程 組的 最 小 二 乘 解 ” 這 兩 種 思 路 出 發(fā) ， 探 索 線 性 組 合 模 型 下 最 小 二 乘 擬 合 的 一

22、般 解 法 。 給 定 n+1 個(gè) 關(guān) 于 x 的 線 性 無(wú) 關(guān) 的 連 續(xù) 函 數(shù) ， 擬 合函 數(shù) p(x) 是 由 的 線 性 組 合 所 構(gòu) 成 ， 即這 類 函 數(shù) 稱 為 廣 義 多 項(xiàng) 式 ， 以 這 種 類 型 的 函 數(shù) 作 為 擬 合 函 數(shù) 的 最 小 二 乘 擬合 問(wèn) 題 稱 為 線 性 組 合 模 型 的 最 小 二 乘 擬 合 ， 函 數(shù) 稱 為該 線 性 組 合 模 型 的 基 函 數(shù) 。線 性 組 合 的 函 數(shù) 類 型 在 實(shí) 踐 中 很 常 見(jiàn) ， 多 項(xiàng) 式 函 數(shù) 和 對(duì) 數(shù) 函 數(shù) 等 都 屬 于 這 一 類 。 )(,),(),( 10 xxx n

23、 )(,),(),( 10 xxx n )()()()( 1100 xcxcxcxpy nn nnxcxccy 10 xccy ln10 )(,),(),( 10 xxx n 1、 基 于 偏 導(dǎo) 數(shù) 求 多 元 函 數(shù) 極 值 的 方 法 線 性 模 型 的 最 小 二 乘 擬 合 問(wèn) 題 可 以 轉(zhuǎn) 化 為 使 函 數(shù)最 小 化 的 問(wèn) 題 。 對(duì) 于 任 意 待 定 系 數(shù) ， 上 式 都 是 一 個(gè) 關(guān) 于 的 線 性 函 數(shù) 。 因此 ， 根 據(jù) 求 多 元 函 數(shù) 極 值 的 原 理 ， 可 以 對(duì) 上 式 的 各 個(gè) 待 定 系 數(shù) 分 別 求 偏 導(dǎo)數(shù) ， 使 其 值 均 為

24、0， 從 而 得 到 以 為 未 知 數(shù) 的 方 程 組 mi iinniin yxcxcxccccI 0 2110010 )()()(),( kc kc nccc , 10 kc mi iinniiinn mi iinniiimi iinniii yxcxcxcxcI yxcxcxcxcI yxcxcxcxcI 0 11000 110011 0 110000 0)()()()(2 0)()()()(2 0)()()()(2 化 簡(jiǎn) 并 移 項(xiàng) 得 mi mi iininniiniinmi mi iiininiiimi mi iiininiii yxxcxxcxxc yxxxcxcxxc yx

25、xxcxxcxc0 0211000 0 112110100 0 00101200 )()()()()()( )()()()()()( )()()()()()( 記則 任 意 兩 個(gè) 向 量 和 的 內(nèi) 積 就 是 nkxxx Tmkkk ,2,1,0,)(,),(),( 10 k j k ),( kj nkjxx ikmi ijkj ,2,1,0,),()(),( 0 k向 量 與 向 量 的 內(nèi) 積 是 nkyxmi iik ,2,1,0,)()( 0 y,k ),( 10 myyy y ),( yk 這 個(gè) 方 程 組 Gt=h 稱 為 相 應(yīng) 擬 合 問(wèn) 題 的 正 規(guī) 方 程 組 。

26、當(dāng) 線性 無(wú) 關(guān) 時(shí) ， 系 數(shù) 矩 陣 G 的 行 列 式 不 為 0， 所 以 上 述 方 程 組 有 唯 一 解 ， 即 相 應(yīng) 的 線性 擬 合 問(wèn) 題 有 唯 一 解 。 )(,),(),( 10 xxx n ),( ),( ),(ht),(),(),( ),(),(),( ),(),(),(G 000 0000 yyyccc nnnnnn nn 1101 1111 1 ,，那 么 方 程 組 可 簡(jiǎn) 記 為 Gt = h其 中 2、 基 于 解 線 性 超 定 方 程 組 的 方 法 把 所 有 數(shù) 據(jù) 點(diǎn) 代 入 擬 合 函 數(shù) ， 以 為 未 知 數(shù) ，可 以 得 到 一 個(gè)

27、含 有 m+1 個(gè) 方 程 ， n+1 個(gè) 未 知 數(shù) 的 超 定 方 程 組 , 1100 mm yxyxyx )()()()( 1100 xcxcxcxpy nn nccc , 10 mmnnmmm nn nn yxcxcxcxp yxcxcxcxp yxcxcxcxp )()()()( )()()()( )()()()( 1100 111111001 000110000 把 方 程 組 的 系 數(shù) 矩 陣 、 未 知 向 量 和 右 端 項(xiàng) 記 為根 據(jù) 定 理 1， 上 述 超 定 方 程 組 的 最 小 二 乘 解 對(duì) 應(yīng) 于 方 程 組 的 解 。 mnmnmm nn yyybcc

28、cxxx xxx xxx 101010 11110 00100 ,)()()( )()()( )()()( tA bAAtA TT 3、 方 法 小 結(jié)步 驟 ： 計(jì) 算 系 數(shù) 矩 陣 步 驟 ： 計(jì) 算 列 向 量 h 步 驟 ： 解 上 述 方 程 組 比 較 上 述 兩 種 思 路 得 到 的 方 程 組 Gt=h 和 ， 根 據(jù) 矩 陣 乘 法 運(yùn) 算 法則 ， 容 易 得 到 ， 也 就 是 說(shuō) ， 無(wú) 論 采 用 偏 導(dǎo) 數(shù) 求 解 多 元 函 數(shù) 極 值問(wèn) 題 的 方 法 ， 還 是 采 用 解 線 性 超 定 方 程 組 的 方 法 ， 線 性 組 合 模 型 的 最 小 二

29、 乘 擬合 問(wèn) 題 最 終 都 可 以 被 轉(zhuǎn) 換 為 解 正 規(guī) 方 程 組 Gt=h 的 問(wèn) 題 。 bAAtA TT hbG,AAA TT 綜 上 所 述 ， 解 線 性 組 合 模 型 的 最 小 二 乘 擬 合 問(wèn) 題 的 基 本 步 驟 可 概 括 如 下 ：給 定 擬 合 函 數(shù) ：數(shù) 據(jù) 點(diǎn) ： , 1100 mm yxyxyx )()()()( 1100 xcxcxcxpy nn ),( ),( ),(),(),(),( ),(),(),( ),(),(),( 000 0000 yyyccc nnnnnn nn 1101 1111 1 二 、 常 用 線 性 組 合 模 型

30、的 最 小 二 乘 解根 據(jù) 上 面 介 紹 的 方 法 ， 下 面 具 體 討 論 兩 類 常 用 的 滿 足 線 性 組 合 模 型 的 最小 二 乘 擬 合 問(wèn) 題 。1、 多 項(xiàng) 式 模 型 令 式 中 的 基 函 數(shù) 為 ， 可 以 得 到 多 項(xiàng) 式 函 數(shù))()()()( 1100 xcxcxcxpy nn n nnn xcxcxccxpy 1110)( nn xxxxx )(,)(,1)( 10 以 多 項(xiàng) 式 函 數(shù) 作 為 擬 合 函 數(shù) 類 型 的 擬 合 問(wèn) 題 稱 為 多 項(xiàng) 式 擬 合 。 根 據(jù) 上 述 討 論結(jié) 果 ， 把 代 入 G t=h ,可 以 得 到

31、方 程 組nn xxxxx )(,)(,1)( 10 mi inimi iimi inmi nimi nimi nimi ni mi nimi nimi imi i mi nimi nimi imi yx yxycccxxxx xxxx xxx 000100 20 120 10 0 100 20 00 1001 為 了 使 方 程 組 的 關(guān) 系 更 加 清 楚 ， 記 mi ininmi iimi iimi i mi ninmi imi imi yxTyxTyxTyT xSxSxSS 00 220100 0 220 220100 , ,1 則 上 式 所 示 的 正 規(guī) 方 程 組 可 以

32、簡(jiǎn) 寫 為 nnnnnn nn nn TTTcccSSSS SSSS SSSS 10102121 121 110 因 此 ， 求 解 多 項(xiàng) 式 擬 合 問(wèn) 題 只 需 要 執(zhí) 行 下 面 兩 個(gè) 步 驟 ： 計(jì) 算 以 及 的 值 ， 得 到 正 規(guī) 方 程 組 ； 解 正 規(guī) 方 程 組 ， 求 得 的 值 。nccc , 10 nSSS 210 , nTTT , 10 例 3、 給 定 如 下 一 組 實(shí) 驗(yàn) 數(shù) 據(jù) ：試 求 對(duì) 上 述 數(shù) 據(jù) 作 最 小 二 乘 擬 合 得 到 的 二 次 多 項(xiàng) 式 。序 號(hào) 0 1 2 3 4 5 6 7 8x 1 3 4 5 6 7 8 9 1

33、0y 2 7 8 10 11 11 10 9 8解 ： 設(shè) 二 次 擬 合 多 項(xiàng) 式 是 0122)( cxcxcxp 則 其 相 應(yīng) 的 正 規(guī) 方 程 組 是其 中 的 值 如 下 表 3所 示 21043210 ,9 TTTSSSSS 和而 210210432 321 210 TTTcccSSS SSS SSS 表 3 把 這 些 值 代 入 正 規(guī) 方 程 組 ， 得 354748976253173017381 301738153 381539 210ccc 解 方 程 可 得 ， 即 擬 合 多項(xiàng) 式 是 2676.0,6053.3,4597.1 210 ccc 4597.1605

34、3.32676.0)( 2 xxxp 圖 4 二 次 擬 合 函 數(shù) 的 圖 示 擬 合 函 數(shù) 如 下 圖 4所 示 ， 可 見(jiàn) 函 數(shù) 對(duì) 數(shù) 據(jù) 的 擬 合 情 況 比 較 理 想 。 2、 對(duì) 數(shù) 模 型 令 式 中 的 基 函 數(shù) 為 ， 得 到 如 下 形 式 的 對(duì) 數(shù) 函 數(shù))()()()( 1100 xcxcxcxpy nn nn xcxccxpy )(lnln)( 10 nn xxxxx )(ln)(,ln)(,1)( 10 根 據(jù) G t=h ,可 得 正 規(guī) 方 程 組 解 此 方 程 即 可 得 到 上 述 模 型 的 最 小 二 乘 擬 合 解 。 mi niimi

35、 iimi inmi nimi nimi ni mi nimi imi i mi nimi imi xy xy ycccxxx xxx xx 00 0100 20 10 0 10 20 000 )(lnln)(ln)(ln)(ln )(ln)(lnln )(lnln1 序 號(hào) 0 1 2 3 4x 1 2 3 4 5y 0.05 0.64 1.10 1.33 1.64例 4、 給 定 如 下 的 一 組 實(shí) 驗(yàn) 數(shù) 據(jù) ：采 用 形 如 的 擬 合 函 數(shù) ， 求 其 最 小 二 乘 解 。xccy ln10 解 ： 上 述 擬 合 問(wèn) 題 的 最 小 二 乘 解 對(duì) 應(yīng) 于 方 程 組 的

36、解 。 把 實(shí) 驗(yàn) 數(shù) 據(jù) 代 入 以 上 方 程 ， 得 40 401040 240 4040 ln)(lnln ln1 i iii ii ii i i ii xy yccxx x 1353.67600.41995.67874.4 7874.40000.5 10cc 解 方 程 組 得 ， 即 擬 合 函 數(shù) 為 ：9765.0,0170.0 10 cc xy ln9765.00170.0 圖 5 對(duì) 數(shù) 擬 合 函 數(shù) 的 圖 示 圖 5給 出 了 擬 合 函 數(shù) 的 圖 示 。 廣 義 最 小 二 乘 擬 合 問(wèn) 題定 義 2 連 續(xù) 性 的 最 小 二 乘 擬 合 問(wèn) 題 給 定 在

37、區(qū) 間 a,b 內(nèi) 定 義 的 連 續(xù) 函 數(shù) y=f(x) ， 選 擇 一 種 函 數(shù) 類 型 ， 對(duì) 任 意 函數(shù) ， 有 如 下 的 形 式其 中 x 是 函 數(shù) 變 量 ， 是 函 數(shù) 中 的 系 數(shù) ， 求 函 數(shù)簡(jiǎn) 記 為 p(x)， 使 得 該 擬 合 函 數(shù) 滿 足的 值 最 小 化 。 即 最 小 化 函 數(shù) p(x) 與 原 函 數(shù) f (x) 在 區(qū) 間 a,b 內(nèi) 的 誤 差 的 平 方 的 積 分 ， 這 就 是 連 續(xù) 型 的 最 小 二 乘 擬 合 問(wèn) 題 ， 也 被 稱 為 函 數(shù) 的 最 佳 平 方 逼 近 問(wèn) 題 。),( 10 ncccxy nccc ,

38、10 ban dxxfxpcccI 210 )()(),( ),( 10 ncccxp 離 散 型 ： 已 知 離 散 數(shù) 據(jù) 點(diǎn) 對(duì) 每 個(gè) 點(diǎn) 都 有 一個(gè) 正 的 權(quán) 重 值 ， 表 示 該 數(shù) 據(jù) 點(diǎn) 的 重 要 程 度 。 確 定 參 數(shù) ， 得 到擬 合 函 數(shù) p(x)， 使 得 帶 權(quán) 的 最 小 二 乘 函 數(shù)的 值 最 小 化 ， 這 個(gè) 問(wèn) 題 稱 為 離 散 型 的 帶 權(quán) 的 最 小 二 乘 擬 合 問(wèn) 題 。 , 1100 mm yxyxyx ii yx ,i nccc , 10 mi iiin yxpcccI 0 210 )(),( 定 義 3 帶 權(quán) 最 小 二

39、 乘 擬 合 問(wèn) 題 廣 義 的 最 小 二 乘 擬 合 問(wèn) 題 就 是 上 述 各 類 最 小 擬 合 問(wèn) 題 的 集 合 。連 續(xù) 型 ： 已 知 在 區(qū) 間 a,b 內(nèi) 定 義 的 連 續(xù) 函 數(shù) y=f(x)， 并 有 在 區(qū) 間 a,b 內(nèi) 定 義 的 連續(xù) 的 權(quán) 重 函 數(shù) (x) 。 (x) 非 負(fù) 可 積 ， 表 示 函 數(shù) 在 區(qū) 間 a,b 內(nèi) 各 個(gè) 部 分 的 重 要程 度 。 確 定 參 數(shù) ， 得 到 擬 合 函 數(shù) p(x)， 使 得 帶 權(quán) 的 最 小 二 乘 函 數(shù)的 值 最 小 化 ， 這 個(gè) 問(wèn) 題 稱 為 連 續(xù) 型 的 帶 權(quán) 最 小 二 乘 擬 合 問(wèn) 題 。nccc , 10 ba iin dxyxpxcccI 210 )()(),(