應用回歸分析(第三版)何曉群 劉文卿 課后習題答案 完整版.doc

《應用回歸分析(第三版)何曉群 劉文卿 課后習題答案 完整版.doc》由會員分享，可在線閱讀，更多相關《應用回歸分析(第三版)何曉群 劉文卿 課后習題答案 完整版.doc（120頁珍藏版）》請在裝配圖網(wǎng)上搜索。

第二章 一元線性回歸分析 思考與練習參考答案 2.1 一元線性回歸有哪些基本假定? 答： 假設1、解釋變量X是確定性變量，Y是隨機變量； 假設2、隨機誤差項ε具有零均值、同方差和不序列相關性： E(εi)=0 i=1,2, …,n Var (εi)=s2 i=1,2, …,n Cov(εi, εj)=0 i≠j i,j= 1,2, …,n 假設3、隨機誤差項ε與解釋變量X之間不相關： Cov(Xi, εi)=0 i=1,2, …,n 假設4、ε服從零均值、同方差、零協(xié)方差的正態(tài)分布 εi~N(0, s2 ) i=1,2, …,n 2.2 考慮過原點的線性回歸模型 Yi=β1Xi+εi i=1,2, …,n 誤差εi（i=1,2, …,n）仍滿足基本假定。求β1的最小二乘估計 解： 得： 2.3 證明（2.27式），Sei =0 ，SeiXi=0 。 證明： 其中： 即： Sei =0 ，SeiXi=0 2.4回歸方程E（Y）=β0+β1X的參數(shù)β0，β1的最小二乘估計與最大似然估計在什么條件下等價?給出證明。 答：由于εi~N(0, s2 ) i=1,2, …,n 所以Yi=β0 + β1Xi + εi~N（β0+β1Xi , s2 ) 最大似然函數(shù)： 使得Ln（L）最大的，就是β0，β1的最大似然估計值。 同時發(fā)現(xiàn)使得Ln（L）最大就是使得下式最小， 上式恰好就是最小二乘估計的目標函數(shù)相同。值得注意的是：最大似然估計是在εi~N(0, s2 )的假設下求得，最小二乘估計則不要求分布假設。 所以在εi~N(0, s2 ) 的條件下， 參數(shù)β0，β1的最小二乘估計與最大似然估計等價。 2.5 證明是β0的無偏估計。 證明： 2.6 證明 證明： 2.7 證明平方和分解公式：SST=SSE+SSR 證明： 2.8 驗證三種檢驗的關系，即驗證： （1）；（2） 證明：（1） （2） 2.9 驗證（2.63）式： 證明： 其中： 2.10 用第9題證明是s2的無偏估計量 證明： 2.11 驗證決定系數(shù)與F值之間的關系式 證明： 2.14 為了調(diào)查某廣告對銷售收入的影響，某商店記錄了5個月的銷售收入y（萬元）和廣告費用x（萬元），數(shù)據(jù)見表2.6，要求用手工計算： 表2.6 月份 1 2 3 4 5 X 1 2 3 4 5 Y 10 10 20 20 40 （1） 畫散點圖（略） （2） X與Y是否大致呈線性關系？ 答：從散點圖看，X與Y大致呈線性關系。 （3） 用最小二乘法估計求出回歸方程。 計算表 X Y 1 10 4 100 20 6 （-14）2 （-4）2 2 10 1 100 10 13 （-7）2 （3）2 3 20 0 0 0 20 0 0 4 20 1 0 0 27 72 72 5 40 4 400 40 34 142 （-6）2 和15 100 和Lxx=10 Lyy=600 和Lxy=70 和100 SSR=490 SSE=110 均3 均20 均20 回歸方程為： （4） 求回歸標準誤差 先求SSR（Qe）見計算表。 所以 （5） 給出 的置信度為95%的區(qū)間估計； 由于(1-a)的置信度下， 的置信區(qū)間是 查表可得 所以 的95%的區(qū)間估計為：（7—3.182*1.915，7+3.182*1.915），即（0.906,13.094）。 所以 的95%的區(qū)間估計為：（-1-3.182*6.351，-1+3.182*6.351）， 即（-21.211, 19.211）。的置信區(qū)間包含0，表示不顯著。 （6） 計算x和y的決定系數(shù) 說明回歸方程的擬合優(yōu)度高。 （7） 對回歸方程作方差分析 方差分析表 方差來源 平方和 自由度 均方 F值 SSR 490 1 490 13.364 SSE 110 3 36.667 SST 600 4 F值=13.364>F0.05(1,3)=10.13(當n=1,n=8時，α=0.05查表得對應的值為10.13),所以拒絕原假設，說明回歸方程顯著。 （8）做回歸系數(shù)β1的顯著性檢驗H0: β1=0 t值=3.656>t0.05/2(3)=3.182,所以拒絕原假設，說明x對Y有顯著的影響。 （8） 做相關系數(shù)R的顯著性檢驗 R值=0.904>R0.05(3)=0.878,所以接受原假設，說明x和Y有顯著的線性關系。 （9） 對回歸方程作殘差圖并作相應的分析 殘差圖(略) .從殘差圖上看出，殘差是圍繞e=0在一個固定的帶子里隨機波動，基本滿足模型的假設ei~N(0, s2 ), 但由于樣本量太少, 所以誤差較大. （10） 求廣告費用為4.2萬元時,銷售收入將達到多少?并給出置信度為95%的置信區(qū)間. 解: 當X0=4.2時, 所以廣告費用為4.2萬元時, 銷售收入將達到28.4萬元. 由于置信度為1-α時，Y0估計值的置信區(qū)間為: 所以求得Y0的95%的置信區(qū)間為: [6.05932 ,50.74068] 預測誤差較大. 2.15 一家保險公司十分關心其總公司營業(yè)部加班的制度，決定認真調(diào)查一下現(xiàn)狀。經(jīng)過十周時間，收集了每周加班工作時間的數(shù)據(jù)和簽發(fā)的新保單數(shù)目，x為每周新簽發(fā)的保單數(shù)目，y為每周加班工作時間（小時）。見表2.7。 表2..7 周序號 1 2 3 4 5 6 7 8 9 10 X 825 215 1070 550 480 920 1350 325 670 1215 Y 3.5 1.0 4.0 2.0 1.0 3.0 4.5 1.5 3.0 5.0 1、畫散點圖 2、由散點圖可以看出， x與y之間大致呈線性關系。 3、用最小二乘法求出回歸系數(shù) 由表可知： 回歸方程為： 4、求回歸標準誤差 由方差分析表可以得到:SSE=1.843 故回歸標準誤差，=0.48。 5、給出回歸系數(shù)的置信度為95%的區(qū)間估計 由回歸系數(shù)顯著性檢驗表可以看出，當置信度為95%時： 的預測區(qū)間為[-0.701,0.937], 的預測區(qū)間為[0.003,0.005]. 的置信區(qū)間包含0，表示不拒絕為零的假設。 6、決定系數(shù) 由模型概要表得到?jīng)Q定系數(shù)為0.9接近于1，說明模型的擬合優(yōu)度高。 7. 對回歸方程作方差分析 由方差分析表可知： F值=72.396>5.32(當n=1,n=8時，查表得對應的值為5.32) P值0，所以拒絕原假設，說明回歸方程顯著。 8、對的顯著性檢驗 從上面回歸系數(shù)顯著性檢驗表可以得到的t統(tǒng)計量為t=8.509，所對應的p值近似為0，通過t檢驗。說明每周簽發(fā)的新保單數(shù)目x對每周加班工作時間y有顯著的影響。 9.做相關系數(shù)顯著性檢驗 相關系數(shù)達到0.949，說明x與y顯著線性相關。 10、對回歸方程作殘差圖并作相應分析 從殘差圖上看出，殘差是圍繞e=0隨即波動，滿足模型的基本假設。 11、該公司預計下一周簽發(fā)新保單X0=1000張,需要的加班時間是多少? 當x=1000張時，小時 12、給出Y0的置信水平為95%的預測區(qū)間 通過SPSS運算得到Y0的置信水平為95%的預測區(qū)間為： （2.5195，4.8870）。 13 給出E（Y0）的置信水平為95%的預測區(qū)間 通過SPSS運算得到Y0的置信水平為95%的預測區(qū)間為：（3.284，4.123）。 2.16 表是1985年美國50個州和哥倫比亞特區(qū)公立學校中教師的人均年工資y(美元)和學生的人均經(jīng)費投入x(美元). 序號 y x 序號 y x 序號 y x 1 19583 3346 18 20816 3059 35 19538 2642 2 20263 3114 19 18095 2967 36 20460 3124 3 20325 3554 20 20939 3285 37 21419 2752 4 26800 4542 21 22644 3914 38 25160 3429 5 29470 4669 22 24624 4517 39 22482 3947 6 26610 4888 23 27186 4349 40 20969 2509 7 30678 5710 24 33990 5020 41 27224 5440 8 27170 5536 25 23382 3594 42 25892 4042 9 25853 4168 26 20627 2821 43 22644 3402 10 24500 3547 27 22795 3366 44 24640 2829 11 24274 3159 28 21570 2920 45 22341 2297 12 27170 3621 29 22080 2980 46 25610 2932 13 30168 3782 30 22250 3731 47 26015 3705 14 26525 4247 31 20940 2853 48 25788 4123 15 27360 3982 32 21800 2533 49 29132 3608 16 21690 3568 33 22934 2729 50 41480 8349 17 21974 3155 34 18443 2305 51 25845 3766 解答：（1）繪制y對x的散點圖，可以用直線回歸描述兩者之間的關系嗎？ 由上圖可以看出y與x的散點分布大致呈直線趨勢。 （2）建立y對x的線性回歸。 利用SPSS進行y和x的線性回歸，輸出結果如下： 表1 模型概要 R R2 調(diào)整后的R2 隨機誤差項的標準差估計值 0.835 0.697 0.691 2323.25589 表2 方差分析表 模型 平方和 自由度 和平均 F值 P值 1 回歸平方和 6.089E8 1 6.089E8 112.811 .000a 殘差平方和 2.645E8 49 5397517.938 總平方和 8.734E8 50 表3 系數(shù)表 模型 非標準化系數(shù) 標準化系數(shù) t值 P值 B 標準差 回歸系數(shù) 1 常數(shù) 12112.629 1197.768 10.113 .000 對學生的人均經(jīng)費投入 3.314 .312 .835 10.621 .000 1) 由表1可知，x與y決定系數(shù)為，說明模型的擬合效果一般。x與y線性相關系數(shù)R=0.835，說明x與y有較顯著的線性關系。 2) 由表2（方差分析表中）看到，F(xiàn)=112.811，顯著性Sig.p,說明回歸方程顯著。 3) 由表3 可見對的顯著性t檢驗P值近似為零，故顯著不為0，說明x對y有顯著的線性影響。 4) 綜上，模型通過檢驗，可以用于預測和控制。 x與y的線性回歸方程為： （3）繪制標準殘差的直方圖和正態(tài)概率圖 圖1 標準殘差的直方圖 理論正 態(tài)概率 觀測值概率 圖2 標準殘差的正態(tài)概率P-P圖 由圖1可見標準化后殘差近似服從正態(tài)分布，由圖2可見正態(tài)概率圖中的各個散點都分布在45°線附近，所以沒有證據(jù)證明誤差項服從同方差的正態(tài)分布的假定是不真實的，即殘差通過正態(tài)性檢驗，滿足模型基本假設。 第3章 多元線性回歸 思考與練習參考答案 3.2 討論樣本容量n與自變量個數(shù)p的關系，它們對模型的參數(shù)估計有何影響？ 答：在多元線性回歸模型中，樣本容量n與自變量個數(shù)p的關系是：n>>p。如果n<=p對模型的參數(shù)估計會帶來很嚴重的影響。因為： 1. 在多元線性回歸模型中，有p+1個待估參數(shù)β，所以樣本容量的個數(shù)應該大于解釋變量的個數(shù)，否則參數(shù)無法估計。 2. 解釋變量X是確定性變量，要求，表明設計矩陣X中的自變量列之間不相關，即矩陣X是一個滿秩矩陣。若，則解釋變量之間線性相關，是奇異陣，則的估計不穩(wěn)定。 3.3證明 隨機誤差項ε的方差s2的無偏估計。 證明: 3.4 一個回歸方程的復相關系數(shù)R=0.99，樣本決定系數(shù)R2=0.9801，我們能判斷這個回歸方程就很理想嗎？ 答：不能斷定這個回歸方程理想。因為： 1. 在樣本容量較少，變量個數(shù)較大時，決定系數(shù)的值容易接近1，而此時可能F檢驗或者關于回歸系數(shù)的t檢驗，所建立的回歸方程都沒能通過。 2. 樣本決定系數(shù)和復相關系數(shù)接近于1只能說明Y與自變量X1,X2,…,Xp整體上的線性關系成立，而不能判斷回歸方程和每個自變量是顯著的，還需進行F檢驗和t檢驗。 3. 在應用過程中發(fā)現(xiàn)，在樣本容量一定的情況下，如果在模型中增加解釋變量必定使得自由度減少，使得 R2往往增大，因此增加解釋變量（尤其是不顯著的解釋變量）個數(shù)引起的R2的增大與擬合好壞無關。 3.7 驗證 證明：多元線性回歸方程模型的一般形式為： 其經(jīng)驗回歸方程式為， 又， 故， 中心化后，則有， 左右同時除以， 令， 樣本數(shù)據(jù)標準化的公式為 ， 則上式可以記為 則有 3.10 驗證決定系數(shù)R2與F值之間的關系式： 證明： 3.11 研究貨運總量y（萬噸）與工業(yè)總產(chǎn)值x1（億元）、農(nóng)業(yè)總產(chǎn)值x2（億元）、居民非商品支出x3（億元）的關系。數(shù)據(jù)見表3.9（略）。 （1）計算出y，x1，x2，x3的相關系數(shù)矩陣。 SPSS輸出如下： 則相關系數(shù)矩陣為： （2）求出y與x1，x2，x3的三元回歸方程。 對數(shù)據(jù)利用SPSS做線性回歸，得到回歸方程為 （3）對所求的方程作擬合優(yōu)度檢驗。 由上表可知，調(diào)整后的決定系數(shù)為0.708，說明回歸方程對樣本觀測值的擬合程度較好。 （4）對回歸方程作顯著性檢驗； 原假設： F統(tǒng)計量服從自由度為（3，6）的F分布，給定顯著性水平=0.05，查表得,由方查分析表得，F(xiàn)值=8.283>4.76，p值=0.015，拒絕原假設，由方差分析表可以得到，說明在置信水平為95%下，回歸方程顯著。 （5）對每一個回歸系數(shù)作顯著性檢驗； 做t檢驗：設原假設為， 統(tǒng)計量服從自由度為n-p-1＝６的t分布，給定顯著性水平0.05，查得單側(cè)檢驗臨界值為1.943，X1的t值=1.942<1.943，處在否定域邊緣。 X2的t值＝2.465>1.943。拒絕原假設。 由上表可得，在顯著性水平時，只有的P值<0.05,通過檢驗，即只有的回歸系數(shù)較為顯著 ；其余自變量的P值均大于0.05，即x1，x2的系數(shù)均不顯著。 （6）如果有的回歸系數(shù)沒有通過顯著性檢驗，將其剔除，重新建立回歸方程，并作回歸方程的顯著性檢驗和回歸系數(shù)的顯著性檢驗。 解：用后退法對數(shù)據(jù)重新做回歸分析，結果如下： 選擇模型二，重新建立的回歸方程為： 對新的回歸方程做顯著性檢驗： 原假設： F服從自由度為（2，7）的F分布，給定顯著性水平=0.05，查表得,由方差分析表得，F(xiàn)值=11.117>4.74，p值=0.007，拒絕原假設. 認為在顯著性水平=0.05下，x1，x2整體上對y有顯著的線性影響，即回歸方程是顯著的。 對每一個回歸系數(shù)做顯著性檢驗： 做t檢驗：設原假設為，統(tǒng)計量服從自由度為n-p-1＝７的t分布，給定顯著性水平0.05，查得單側(cè)檢驗臨界值為1.895，X1的t值=2.575>1.895，拒絕原假設。故顯著不為零，自變量X1對因變量y的線性效果顯著； 同理β2也通過檢驗。同時從回歸系數(shù)顯著性檢驗表可知：X1,X2的p值 都小于0.05，可認為對x1，x2分別對y都有顯著的影響。 （7）求出每一個回歸系數(shù)的置信水平為955D 置信區(qū)間 由回歸系數(shù)表可以看到，β1置信水平為95%的置信區(qū)間[0.381,8.970]， β2置信水平為95%的置信區(qū)間[3.134,14.808] （8）求標準化回歸方程 由回歸系數(shù)表（上表）可得，標準化后的回歸方程為： （9）求當x01=75，x02=42，x03=3.1時的y的預測值，給定置信水平95%，用SPSS軟件計算精確置信區(qū)間，用手工計算近似預測區(qū)間； 由SPSS輸出結果可知，當時，（見上表），的置信度為95%的精確預測區(qū)間為（204.4,331.2）（見下表），的置信度為95%的近似預測區(qū)間為，手工計算得：（219.6,316.0）。 （10）結合回歸方程對問題做一些簡單分析。 答：由回歸方程 可知農(nóng)業(yè)總產(chǎn)值固定的時候，工業(yè)總產(chǎn)值每增加1億元，貨運總量增加4.676萬噸；工業(yè)總產(chǎn)值固定的時候，農(nóng)業(yè)總產(chǎn)值每增加1億元，貨運總量增加8.971萬噸。而居民非商品支出對貨運總量沒有顯著的線性影響。由標準化回歸方程可知: 工業(yè)總產(chǎn)值、農(nóng)業(yè)總產(chǎn)值與Y都是正相關關系，比較回歸系數(shù)的大小可知農(nóng)業(yè)總產(chǎn)值X2對貨運總量Y的影響程度大一些。 第4章 違背基本假設的情況 思考與練習參考答案 4.1 試舉例說明產(chǎn)生異方差的原因。 答：例4.1：截面資料下研究居民家庭的儲蓄行為 Yi=b0+b1Xi+εi 其中：Yi表示第i個家庭的儲蓄額，Xi表示第i個家庭的可支配收入。 由于高收入家庭儲蓄額的差異較大，低收入家庭的儲蓄額則更有規(guī)律性，差異較小，所以εi的方差呈現(xiàn)單調(diào)遞增型變化。 例4.2：以某一行業(yè)的企業(yè)為樣本建立企業(yè)生產(chǎn)函數(shù)模型 Yi=Aib1 Kib2 Lib3eεi 被解釋變量：產(chǎn)出量Y，解釋變量：資本K、勞動L、技術A，那么每個企業(yè)所處的外部環(huán)境對產(chǎn)出量的影響被包含在隨機誤差項中。由于每個企業(yè)所處的外部環(huán)境對產(chǎn)出量的影響程度不同，造成了隨機誤差項的異方差性。這時，隨機誤差項ε的方差并不隨某一個解釋變量觀測值的變化而呈規(guī)律性變化，呈現(xiàn)復雜型。 4.2 異方差帶來的后果有哪些？ 答：回歸模型一旦出現(xiàn)異方差性，如果仍采用OLS估計模型參數(shù)，會產(chǎn)生下列不良后果： 1、參數(shù)估計量非有效 2、變量的顯著性檢驗失去意義 3、回歸方程的應用效果極不理想 總的來說，當模型出現(xiàn)異方差性時，參數(shù)OLS估計值的變異程度增大，從而造成對Y的預測誤差變大，降低預測精度，預測功能失效。 4.3 簡述用加權最小二乘法消除一元線性回歸中異方差性的思想與方法。 答：普通最小二乘估計就是尋找參數(shù)的估計值使離差平方和達極小。其中每個平方項的權數(shù)相同，是普通最小二乘回歸參數(shù)估計方法。在誤差項等方差不相關的條件下，普通最小二乘估計是回歸參數(shù)的最小方差線性無偏估計。然而在異方差的條件下，平方和中的每一項的地位是不相同的，誤差項的方差大的項，在殘差平方和中的取值就偏大，作用就大，因而普通最小二乘估計的回歸線就被拉向方差大的項，方差大的項的擬合程度就好，而方差小的項的擬合程度就差。由OLS求出的仍然是的無偏估計，但不再是最小方差線性無偏估計。所以就是：對較大的殘差平方賦予較小的權數(shù)，對較小的殘差平方賦予較大的權數(shù)。這樣對殘差所提供信息的重要程度作一番校正，以提高參數(shù)估計的精度。 加權最小二乘法的方法： 4.4簡述用加權最小二乘法消除多元線性回歸中異方差性的思想與方法。 答：運用加權最小二乘法消除多元線性回歸中異方差性的思想與一元線性回歸的類似。多元線性回歸加權最小二乘法是在平方和中加入一個適當?shù)臋鄶?shù) ，以調(diào)整各項在平方和中的作用，加權最小二乘的離差平方和為： （2） 加權最小二乘估計就是尋找參數(shù)的估計值使式（2）的離差平方和達極小。所得加權最小二乘經(jīng)驗回歸方程記做 （3） 多元回歸模型加權最小二乘法的方法: 首先找到權數(shù)，理論上最優(yōu)的權數(shù)為誤差項方差的倒數(shù),即 （4） 誤差項方差大的項接受小的權數(shù)，以降低其在式（2）平方和中的作用; 誤差項方差小的項接受大的權數(shù)，以提高其在平方和中的作用。由（2）式求出的加權最小二乘估計就是參數(shù)的最小方差線性無偏估計。 一個需要解決的問題是誤差項的方差是未知的,因此無法真正按照式（4）選取權數(shù)。在實際問題中誤差項方差通常與自變量的水平有關(如誤差項方差隨著自變量的增大而增大),可以利用這種關系確定權數(shù)。例如與第j個自變量取值的平方成比例時, 即=k時,這時取權數(shù)為  （5） 更一般的情況是誤差項方差與某個自變量(與|ei|的等級相關系數(shù)最大的自變量)取值的冪函數(shù)成比例，即=k,其中m是待定的未知參數(shù)。此時權數(shù)為 （6） 這時確定權數(shù) 的問題轉(zhuǎn)化為確定冪參數(shù)m的問題，可以借助SPSS軟件解決。4.5（4.5）式一元加權最小二乘回歸系數(shù)估計公式。 證明： 由 得： 4.6驗證（4.8）式多元加權最小二乘回歸系數(shù)估計公式。 證明：對于多元線性回歸模型 （1） ，即存在異方差。設 ， 用左乘（1）式兩邊，得到一個新的的模型： ，即。 因為， 故新的模型具有同方差性，故可以用廣義最小二乘法估計該模型，得 原式得證。 4.7 有同學認為當數(shù)據(jù)存在異方差時，加權最小二乘回歸方程與普通最小二乘回歸方程之間必然有很大的差異，異方差越嚴重，兩者之間的差異就越大。你是否同意這位同學的觀點？說明原因。 答：不同意。當回歸模型存在異方差時，加權最小二乘估計（WLS）只是普通最小二乘估計（OLS）的改進，這種改進可能是細微的，不能理解為WLS一定會得到與OLS截然不同的方程來，或者大幅度的改進。實際上可以構造這樣的數(shù)據(jù)，回歸模型存在很強的異方差，但WLS 與OLS的結果一樣。加權最小二乘法不會消除異方差，只是消除異方差的不良影響，從而對模型進行一點改進。 4.8 對例4.3的數(shù)據(jù)，用公式計算出加權變換殘差，繪制加權變換殘差圖，根據(jù)繪制出的圖形說明加權最小二乘估計的效果。 解：用公式計算出加權變換殘差，分別繪制加權最小二乘估計后的殘差圖和加權變換殘差圖（見下圖）。 根據(jù)繪制出的兩個圖形可以發(fā)現(xiàn)加權最小二乘估計沒有消除異方差，只是對原OLS的殘差有所改善，而經(jīng)過加權變換后的殘差不存在異方差。 4.9 參見參考文獻[2]，表4.12（P138）是用電高峰每小時用電量y與每月總用電量x的數(shù)據(jù)。 （1）用普通最小二乘法建立y與x的回歸方程，并畫出殘差散點圖。 解：SPSS輸出結果如下： 由上表可得回歸方程為： 殘差圖為： （2）診斷該問題是否存在異方差； 解：a由殘差散點圖可以明顯看出存在異方差，誤差的方差隨著的增加而增大。 b用SPSS做等級相關系數(shù)的檢驗，結果如下表所示： 得到等級相關系數(shù)，P值=0.021，認為殘差絕對值與自變量顯著相關，存在異方差。 （3）如果存在異方差，用冪指數(shù)型的權函數(shù)建立加權最小二乘回歸方程； 解：SPSS輸出結果如圖： Coefficients a,b -.683 .298 -2.296 .026 .004 .000 .812 9.930 .000 (Constant) x Model 1 B Std. Error Unstandardized Coefficients Beta Standardized Coefficients t Sig. Dependent Variable: y a. Weighted Least Squares Regression - Weighted by Weight for y from WLS, MOD_2 x** -1.500 b. 由上述表可得，在時對數(shù)似然函數(shù)達到最大，則冪指數(shù)的最優(yōu)取值為。加權后的回歸方程為：。 計算加權后的殘差，并對殘差絕對值和自變量做等級相關系數(shù)分析，結果如下表所示： ，P值為0.019<0.05，即加權最小二乘法沒有消除異方差，只是消除異方差的不良影響，從而對模型進行一點改進。 Correlations 1.000 .321 * . .019 53 53 .321 * 1.000 .019 . 53 53 Correlation Coefficient Sig. (2-tailed) N Correlation Coefficient Sig. (2-tailed) N x abseiw Spearman's rho x abseiw Correlation is significant at the 0.05 level (2-tailed). *. （4）用方差穩(wěn)定變換消除異方差。 解：對應變量做方差穩(wěn)定變換（）后，用最小二乘法做回歸，SPSS結果如下表： Coefficients a .582 .130 4.481 .000 .001 .000 .805 9.699 .000 (Constant) x Model 1 B Std. Error Unstandardized Coefficients Beta Standardized Coefficients t Sig. Dependent Variable: sqrty a. 則回歸方程為：。 保存預測值，計算出殘差的絕對值后，計算等級相關系數(shù)，見下表： 其中，P值=0.254>0.05，說明異方差已經(jīng)消除。 4.10 試舉一可能產(chǎn)生隨機誤差項序列相關的經(jīng)濟例子。 答：例如，居民總消費函數(shù)模型： Ct=b0+b1Yt+ ε t t=1,2,…,n 由于居民收入對消費影響有滯后性，而且今年消費水平受上年消費水平影響，則可能出現(xiàn)序列相關性。另外由于消費習慣的影響被包含在隨機誤差項中，則可能出現(xiàn)序列相關性（往往是正相關 ）。 4.11 序列相關性帶來的嚴重后果是什么？ 答：直接用普通最小二乘法估計隨機誤差項存在序列相關性的線性回歸模型未知參數(shù)時，會產(chǎn)生下列一些問題： 1. 參數(shù)估計量仍然是無偏的，但不具有有效性，因為有自相關性時參數(shù)估計值的方差大于無自相關性時的方差。 2. 均方誤差MSE可能嚴重低估誤差項的方差 3. 變量的顯著性檢驗失去意義：在變量的顯著性檢驗中，統(tǒng)計量是建立在參數(shù)方差正確估計基礎之上的，當參數(shù)方差嚴重低估時，容易導致t值和F值偏大，即可能導致得出回歸參數(shù)統(tǒng)計檢驗和回歸方程檢驗顯著，但實際并不顯著的嚴重錯誤結論。 4. 當存在序列相關時， 仍然是的無偏估計，但在任一特定的樣本中， 可能嚴重歪曲b的真實情況，即最小二乘法對抽樣波動變得非常敏感 5. 模型的預測和結構分析失效。 4.12 總結DW檢驗的優(yōu)缺點。 答：優(yōu)點：1.應用廣泛，一般的計算機軟件都可以計算出DW值； 2.適用于小樣本； 3.可用于檢驗隨機擾動項具有一階自回歸形式的序列相關問題。 缺點：1. DW檢驗有兩個不能確定的區(qū)域，一旦DW值落入該區(qū)域，就無法判斷。此時，只有增大樣本容量或選取其他方法； 2.DW統(tǒng)計量的上、下界表要求n>15，這是由于樣本如果再小，利用殘差就很難對自相關性的存在做出比較正確的診斷； 3.DW檢驗不適應隨機項具有高階序列相關性的檢驗。 4.13 表4.13中是某軟件公司月銷售額數(shù)據(jù)，其中，x為總公司的月銷售額（萬元）;y為某分公司的月銷售額（萬元）。 （1）用普通最小二乘法建立y與x的回歸方程； 由上表可知：用普通二乘法建立的回歸方程為 （2）用殘差圖及DW檢驗診斷序列的相關性； 1.以自變量x為橫軸，普通殘差為縱軸畫殘差圖如下： 從圖中可以看到，殘差有規(guī)律的變化，呈現(xiàn)大致反W形狀，說明隨機誤差項存在自相關性。 2.以（殘差1）為橫坐標，（殘差）為縱坐標，繪制散點圖如下： 由殘差圖可見大部分的點落在第一、三象限內(nèi)，表明隨機擾動項存在著正的序列相關； 3.從下表 可知DW值為0.663，查DW表，n=20,k=2,顯著性水平=0.05，得=1.20,=1.41,由于0.663<1.20,知DW值落入正相關區(qū)域，即殘差序列存在正的自相關。 （3）用迭代法處理序列相關，并建立回歸方程。 自相關系數(shù) 令，，然后用對作普通最小二乘回歸可得輸出結果如下： 可看到新的回歸方程的DW=1.360.且1.18<1.360<1.40,因而DW檢驗落入不確定區(qū)域此時，一步迭代誤差項的標準差為0.07296，小于的標準差0.097 對的回歸方程為=-0.3+0.173，將=-0.6685，=-0.6685代人，還原為原始變量的方程=-0.3+0.6685+0.173-0.1157 由于一步迭代的DW檢驗落入不確定區(qū)域，因而可以考慮對數(shù)據(jù)進行二步迭代，也就是對和重復以上迭代過程。進行回歸結果如下： 此時DW的值為1.696，查DW表，n=18，k=2，顯著性水平=0.05，得=1.16, =1.39, DW值大于，小于2，落入無自相關區(qū)域。誤差標準項0.0849，略小于一步迭代的標準差0.7296。 但是在檢驗都通過的情況下，由于一步迭代的值和F值均大于兩步迭代后的值，且根據(jù)取模型簡約的原則，最終選擇一步迭代的結果，即： =-0.3+0.6685+0.173-0.1157 （4）用一階差分的方法處理數(shù)據(jù)，建立回歸方程； 先計算差分=-，=-，然后用對做過原點的最小二乘回歸，結果如下： 由上面表，可知DW值為1.462>1.40=，即DW落入不相關區(qū)域，可知殘差序列不存在自相關，一階差分法成功地消除了序列自相關。同時得到回歸方程為 =0.169， 將=-，=-，代人，還原原始變量的方程 =+0.169（-） （5）比較普通最小二乘法所得的回歸方程和迭代法、一階差分法所建立回歸方程的優(yōu)良性。 答：本題中自相關系數(shù)0.6685，不接近于1，不適宜用差分法，另外由迭代法的F值及都大于差分法的值，故差分法的效果低于迭代法的效果；而普通最小二乘法的隨機誤差項標準差為0.09744，大于迭代的隨機誤差項標準差0.07296，所以迭代的效果要優(yōu)于普通最小二乘法，所以本題中一次迭代法最好。 4.14 某樂隊經(jīng)理研究其樂隊CD盤的銷售額（y），兩個有關的影響變量是每周出場次x1和樂隊網(wǎng)站的周點擊率x2，數(shù)據(jù)見表4.14。 （1）用普通最小二乘法建立y與x1、x2的回歸方程，用殘差圖及DW檢驗診斷序列的自相關性； 解：將數(shù)據(jù)輸入SPSS，經(jīng)過線性回歸得到結果如下： Model Summary(b) Model R R Square Adjusted R Square Std. Error of the Estimate Durbin-Watson 1 .541(a) .293 .264 329.69302 .745 a Predictors: (Constant), x2, x1 b Dependent Variable: y ANOVA(b) Model Sum of Squares df Mean Square F Sig. 1 Regression 2205551.678 2 1102775.839 10.145 .000(a) Residual 5326177.036 49 108697.491 Total 7531728.714 51 a Predictors: (Constant), x2, x1 b Dependent Variable: y 由以上3個表可知普通最小二乘法建立y與x1、x2的回歸方程，通過了r、F、t檢驗，說明回歸方程顯著。y與x1、x2的回歸方程為： y=-574.062+191.098x1+2.045x2 殘差圖ei(et)~ei1(et-1)為： 從殘差圖可以看出殘差集中在1、3象限，說明隨機誤差項存在一階正自相關。 DW=0.745 查表得dl=1.46 du=1.63, 0du 所以誤差項間無自相關性。=257.86 回歸方程為:yt’=-178.775+211.11x1t’+1.436x2t’ 還原為:yt-0.627y(t-1)= -178.775+211.11*(x1t-0.627x1(t-1)) +1.436*( x2t-0.627x2(t-1)) (3)用一階差分法處理序列相關，建立回歸方程。 Model Summary(c,d) Model R R Square(a) Adjusted R Square Std. Error of the Estimate Durbin-Watson 1 .715(b) .511 .491 280.98995 2.040 a For regression through the origin (the no-intercept model), R Square measures the proportion of the variability in the dependent variable about the origin explained by regression. This CANNOT be compared to R Square for models which include an intercept. b Predictors: DIFF(x2,1), DIFF(x1,1) c Dependent Variable: DIFF(y,1) d Linear Regression through the Origin DW=2.040>du，所以消除了自相關性，=280.99 差分法回歸方程為: yt－yt-1=210.117(x1t-x1(t-1))＋1.397(x2t-x2(t-1)). (4)用最大似然法處理序列相關，建立回歸方程。 用SPSS軟件的自回歸功能，analyze——>time series——>autoregression: =0.631, =258.068, (5)用科克倫-奧克特迭代法處理序列相關，建立回歸方程 =0.632, =260.560 , DW＝1.748。 （6）用普萊斯-溫斯登迭代法處理序列相關，建立回歸方程。 =0.632, =258.066 , DW＝1.746。 （7）比較以上各方法所建回歸方程的優(yōu)良性。 綜合以上各方法的模型擬合結果如下表所示： 自回歸方法 DW 迭代法 0.6275 —— -179.0 211.1 1.437 1.716 257.86 差分法 —— —— 0 210.1 1.397 2.040 280.99 精確最大似然 0.631 -481.7 —— 211.0 1.436 —— 258.07 科克倫-奧克特 0.632 -479.3 —— 211.1 1.435 1.748 260.560 普萊斯-溫斯登 0.631 -487.1 —— 211.0 1.435 1.746 258.066 由上表可看出：DW值都落在了隨機誤差項無自相關性的區(qū)間上，一階差分法消除自相關最徹底，但因為=0.627,并不接近于1,故得到的方差較大,擬合效果不理想。將幾種方法所得到的值進行比較，就可知迭代法的擬合效果最好，以普萊斯-溫斯登法次之，差分法最差。 4.15 說明引起異常值的原因和消除異常值的方法。 答：通常引起異常值的原因和消除異常值的方法有以下幾條，見表4.10： 4.16 對第3章習題11做異常值檢驗。 研究貨運總量y（萬噸）與工業(yè)總產(chǎn)值x1（億元）、農(nóng)業(yè)總產(chǎn)值x2（億元）、居民非商品支出x3（億元）的關系。 （1）利用SPSS建立y與x1，x2，x3的三元回歸方程，分別計算普通殘差，學生化殘差，刪除殘差，刪除學生化殘差，中心化杠桿值，庫克距離，見下表： 從表中看到絕對值最大的學生化殘差為SRE=2.11556，小于3，但有超過3的個別值，因而根據(jù)學生化殘差診斷認為存在異常值。絕對值最大的刪除學生化殘差為3.832，對應為第6個數(shù)據(jù)，因此判斷它為為異常值。第6個數(shù)據(jù)的中心化杠桿值為0.64，位于第一大，大于2=2=0.6，且?guī)炜司嚯x為3.21位于第一大，因而從杠桿值看是第6個數(shù)據(jù)是自變量的異常值，同時庫克距離大于1，故第6個數(shù)據(jù)為異常值的原因是由自變量異常與因變量異常兩個共同原因引起的。 編號 y X1 X2 X3 殘差 學生化 殘差 刪除殘差 刪除學生化殘差 1 2 3 4 5 6 7 8 9 10 160 260 210 265 240 220 275 160 275 250 70 75 65 74 72 68 78 66 70 65 35 40 40 42 38 45 42 36 44 42 1.0 2.4 2.0 3.0 1.2 1.5 4.0 2.0 3.2 3.0 -15.47481 12.82499 5.34434 -0.09088 33.22549 -25.19759 -17.55450 -20.00684 8.23435 18.69545 -.89353 0.62767 0.26517 -.00433 1.75400 -2.11566 -1.17348 -1.16281 0.40935 1.06462 -28.35150 16.88052 7.22979 -0.11351 50.88273 -97.61523 -43.10665 -37.13868 11.18287 33.31486 -0.87604 0.59277 0.24349 -0.00396 2.29383 -3.83214 -1.22039 -1.20606 0.37902 1.07911 0.16609 0.03115 0.00620 0.00000 0.40874 3.21601 0.50110 0.28946 0.01500 0.22158 0.35418 0.14025 0.16079 0.09935 0.24 0.64187 0.49277 0.36129 0.16366 0.33883 (2) 刪除第6組數(shù)據(jù)，然后做回歸分析， 編號 y X1 X2 X3 殘差 刪除學生化殘差 學生化殘差 刪除學生化殘差 1 2 3 4 5 7 8 9 10 160 260 210 265 240 275 160 275 250 70 75 65 74 72 78 66 70 65 35 40 40 42 38. 42 36 44 42 1.0 2.4 2.0 3.0 1.2 4.0 2.0 3.2 3.0 -12.50782 7.03274 -8.01315 -7.36736 14.09650. 0.71258 2.08767 -10.30176 14.26060 -23.06691 9.42586 -12.01962 -9.45592 27.95736 2.62393 6.13591 -17.26607 25.77938 -1.31247 0.62911 -0.75831 -.64493 1.53393 0.10566 0.27655 -1.03052 1.48152 -1.44994 0.58638 -0.72098 -0.60244 1.88562 0.09461 0.24927 -1.03859 1.76915 0.36355 0.03367 0.07188 0.02948 0.57840 0.00749 0.03708 0.17948 0.44322 0.34665 0.14278 0.22222 0.10976 0.38467 0.61732 0.54865 0.29224 0.33571 .由上表可知：刪除第六組數(shù)據(jù)后，發(fā)現(xiàn)學生化殘差的絕對值和刪除化學生殘差絕對值均小于3，庫克距離均小于1，中心化杠桿值的最大值為0.61732<2= ,說明數(shù)據(jù)不再有異常值。 所以可判斷異常值的原因是由于數(shù)據(jù)登記或?qū)嶋H問題有突變引起的。 第5章 自變量選擇與逐步回歸 思考與練習參考答案 5.1 自變量選擇對回歸參數(shù)的估計有何影響？ 答： 回歸自變量的選擇是建立回歸模型得一個極為重要的問題。如果模型中丟掉了重要的自變量, 出現(xiàn)模型的設定偏誤，這樣模型容易出現(xiàn)異方差或自相關性 ，影響回歸的效果；如果模型中增加了不必要的自變量, 或者數(shù)據(jù)質(zhì)量很差的自變量, 不僅使得建模計算量增大, 自變量之間信息有重疊，而且得到的模型穩(wěn)定性較差，影響回歸模型的應用。 5.2自變量選擇對回歸預測有何影響？ 答：當全模型（m元）正確采用選模型（p元）時，我們舍棄了m-p個自變量，回歸系數(shù)的最小二乘估計是全模型相應參數(shù)的有偏估計，使得用選模型的預測是有偏的，但由于選模型的參數(shù)估計、預測殘差和預測均方誤差具有較小的方差，所以全模型正確而誤用選模型有利有弊。 當選模型（p元）正確采用全模型（m元）時，全模型回歸系數(shù)的最小二乘估計是相應參數(shù)的有偏估計，使得用模型的預測是有偏的，并且全模型的參數(shù)估計、預測殘差和預測均方誤差的方差都比選模型的大，所以回歸自變量的選擇應少而精。 5.3 如果所建模型主要用于預測，應該用哪個準則來衡量回歸方程的優(yōu)劣？ 答：如果所建模型主要用于預測，則應使用統(tǒng)計量達到最小的準則來衡量回歸方程的優(yōu)劣。 5.4 試述前進法的思想方法。 答：前進法的基本思想方法是：首先因變量Y對全部的自變量x1,x2,...,xm建立m個一元線性回歸方程, 并計算F檢驗值，選擇偏回歸平方和顯著的變量（F值最大且大于臨界值）進入回歸方程。每一步只引入一個變量，同時建立m－1個二元線性回歸方程，計算它們的F檢驗值，選擇偏回歸平方和顯著的兩變量變量（F值最大且大于臨界值）進入回歸方程。在確定引入的兩個自變量以后，再引入一個變量，建立m－2個三元線性回歸方程，計算它們的F檢驗值，選擇偏回歸平方和顯著的三個變量（F值最大）進入回歸方程。不斷重復這一過程，直到無法再引入新的自變量時，即所有未被引入的自變量的F檢驗值均小于F檢驗臨界值Fα(1,n-p-1)，回歸過程結束。 5.5 試述后退法的思想方法。 答：后退法的基本思想是：首先因變量Y對全部的自變量x1,x2,...,xm建立一個m元線性回歸方程, 并計算t檢驗值和F檢驗值，選擇最不顯著（P值最大且大于臨界值）的偏回歸系數(shù)的自變量剔除出回歸方程。每一步只剔除一個變量，再建立m－1元線性回歸方程，計算t檢驗值和F檢驗值，剔除偏回歸系數(shù)的t檢驗值最?。≒值最大）的自變量，再建立新的回歸方程。不斷重復這一過程，直到無法剔除自變量時，即所有剩余p個自變量的F檢驗值均大于F檢驗臨界值Fα(1,n-p-1)，回歸過程結束。 5.6前進法、后退法各有哪些優(yōu)缺點？ 答：前進法的優(yōu)點是能夠?qū)σ蜃兞坑杏绊懙淖宰兞堪达@著性一一選入，計算量小。前進法的缺點是不能反映引進新變量后的變化，而且選入的變量就算不顯著也不能刪除。后退法的優(yōu)點是是能夠?qū)σ蜃兞繘]有顯著影響的自變量按不顯著性一一剔除，保留的自變量都是顯著的。后退法的缺點是開始計算量大，當減少一個自變量時，它再也沒機會進入了。如果碰到自變量間有相關關系時，前進法和后退法所作的回歸方程均會出現(xiàn)不同程度的問題。 5.7 試述逐步回歸法的思想方法。 答：逐步回歸的基本思想是有進有出。具體做法是將變量一個一個的引入，當每引入一個自變量后，對已選入的變量要進行逐個檢驗，當原引入變量由于后面變量的應納入而變得不再顯著時，要將其剔除