《培訓(xùn)項(xiàng)目評估世界銀行學(xué)院》由會(huì)員分享,可在線閱讀,更多相關(guān)《培訓(xùn)項(xiàng)目評估世界銀行學(xué)院(17頁珍藏版)》請?jiān)谘b配圖網(wǎng)上搜索。
1、Hong Tan 高級經(jīng)濟(jì)學(xué)家 世界銀行學(xué)院人力發(fā)展局 對培訓(xùn)項(xiàng)目進(jìn)行評估: 一個(gè)全球適用的初級評估實(shí)例 背景 全球?qū)︶槍κI(yè)和勞動(dòng)力生產(chǎn)力低下開展的培訓(xùn)活 動(dòng)興趣很大,卻受到培訓(xùn)成本高昂的阻礙。 鑒此,決策層對評估和了解以下問題感興趣: 培訓(xùn)項(xiàng)目有作用嗎?培訓(xùn)對象是誰? 培訓(xùn)能提高成效嗎? 這些問題 無法 從以下方面得到回答: 績效研究和機(jī)制評估研究 受訓(xùn)者滿意度主觀評估 需要對比組的純效應(yīng)評估研究 純效應(yīng)評估 回答這些問題的唯一方法是 : 把培訓(xùn)項(xiàng)目的受訓(xùn)者(對象組)的結(jié)果與未接受 培訓(xùn)的類似人群(對比組)進(jìn)行比較 。 實(shí)例 : 80% 的受訓(xùn)者獲得了就業(yè)。但是只有 60%的能 夠自行找到
2、工作,其余的 20%差異是培訓(xùn)純效應(yīng) 的估計(jì)值,為評價(jià)投資的公共收益提供了基礎(chǔ)。 所面對的挑戰(zhàn)是反事實(shí)的 建立起一個(gè)由類似 個(gè)體組成的未參加培訓(xùn)項(xiàng)目的對比人群。 目標(biāo) 了解主管部委(由誰來評估)和決策者(由誰 決定資源分配)關(guān)于影響力評估的核心概念和 方法 為培訓(xùn)和其他勞動(dòng)力市場項(xiàng)目提供一個(gè)介紹評 估純影響力的設(shè)計(jì)和數(shù)據(jù)收集的入門手冊 著重強(qiáng)調(diào)一些可能的對項(xiàng)目影響力進(jìn)行評估時(shí) 易犯的錯(cuò)誤,并通過修正錯(cuò)誤來修正培訓(xùn)項(xiàng)目 的設(shè)計(jì),改進(jìn)評估的既定目標(biāo) 講課大綱 1. 影響力評估方法 實(shí)驗(yàn)設(shè)計(jì)和準(zhǔn)實(shí)驗(yàn)設(shè)計(jì) 2. 設(shè)計(jì)原則 3. 估計(jì)培訓(xùn)的影響力 整體影響力、分組分析、相互作用 4. 培訓(xùn)項(xiàng)目評估實(shí)例
3、評估設(shè)計(jì)、評估發(fā)現(xiàn)和教訓(xùn) 評估方法 實(shí)驗(yàn)設(shè)計(jì) 培訓(xùn)前評估對象和對比組的隨機(jī)分組 分組程序要確保對象組和對比組具有類似特點(diǎn) 準(zhǔn)實(shí)驗(yàn)設(shè)計(jì) 培訓(xùn)后從培訓(xùn)人群中選出對象組,從非培訓(xùn)人 群中選出對比組 應(yīng)用統(tǒng)計(jì)技巧確保具有類似特點(diǎn) 實(shí)驗(yàn)設(shè)計(jì) 優(yōu)點(diǎn) 解釋評估結(jié)果簡便易行 培訓(xùn)產(chǎn)生的純影響力既是對象組和對比組平均結(jié)果之 間的差異 缺點(diǎn) 受訓(xùn)者中的“精華” , 分組中的倫理問題及“霍桑效應(yīng) ” 醞釀時(shí)間長達(dá) 2-3年 需要有優(yōu)良的數(shù)據(jù)收集為基礎(chǔ) 準(zhǔn)實(shí)驗(yàn)設(shè)計(jì) 優(yōu)點(diǎn) 通??稍谝荒陜?nèi)完成 降低成本和簡便數(shù)據(jù)收集過程要求評估建立在 現(xiàn)存行政記錄的基礎(chǔ)之上 缺點(diǎn) 要求在統(tǒng)計(jì)方法方面擁有實(shí)力,建立一個(gè)類似 的對比組并對項(xiàng)
4、目影響力進(jìn)行評估 某些挑戰(zhàn) (見下 ) 對比組方面的問題 準(zhǔn)實(shí)驗(yàn)設(shè)計(jì) 培訓(xùn)前后的對比 把受訓(xùn)者自身作為對比組 對觀察對象的還原 使用 OLS評估影響力,排除觀察對象特點(diǎn)方面的差 異 對評估的影響 選擇性還原 使用 Heckman修正法排除主觀對未觀察到的特點(diǎn)的 偏見對影響力評估造成的影響 傾向得分配合 使用蓋然性得分法改進(jìn)對比組與對象組的配合 設(shè)計(jì)原則 某些原則同時(shí)適用兩種方法 統(tǒng)一資格標(biāo)準(zhǔn) 足夠的抽樣規(guī)模 抽樣法和數(shù)據(jù)收集 標(biāo)準(zhǔn)處理 合理的成本和時(shí)間框架 穩(wěn)定的評估環(huán)境 與其他項(xiàng)目的相互作用 評估影響力 1) E(Yp) E(Yc) T-檢驗(yàn)對象組 “p”的結(jié)果 Y (例如收入、就業(yè) )是否
5、有 別于 對比組 “ c”的結(jié)果 Y 2). Yi = a0 + a1Pi + ui 多層還原等同于 (1), P 是 1,0表明該個(gè)體 “i”是受訓(xùn)者 ,并檢測項(xiàng)目影響力 a1是否有意義 其他評估問題 1). Yi = a0 + a1Pi + a2Xi + ui 采用還原法調(diào)整特點(diǎn) X上的差異并評估純影響力 2). Yi = a0 + a1P1i + a2P2 + ui 分析培訓(xùn)項(xiàng)目的次組成因素 P1和 P2, 例如培訓(xùn)時(shí)間 長短、公共培訓(xùn)和私營培訓(xùn) 3). Yi = a0 + a1Pi + a2P.ES + a3ES + ui 檢測培訓(xùn)和其他就業(yè)服務(wù)之間的相互作用效應(yīng) ES 未觀察項(xiàng)問題
6、對未觀察特點(diǎn)的主觀偏見影響培訓(xùn)決策和培 訓(xùn)結(jié)果 1) Heckman選擇性程序 修正未觀察特點(diǎn)后對影響力進(jìn)行評估 2) 差異之差別程度程序 排除未觀察特點(diǎn)的影響,使用培訓(xùn)前后對象 組和對比組的數(shù)據(jù)對影響力進(jìn)行評估 實(shí)例 1 美國職業(yè)培訓(xùn)與合作伙伴關(guān)系法 (JTPA) 使用隨機(jī)分組實(shí)驗(yàn)設(shè)計(jì)對職業(yè)培訓(xùn)與合作伙伴關(guān)系法進(jìn) 行多年期評估 結(jié)果 以成年人為對象的培訓(xùn)取得了成功 提高收入 7-11 %, 每 1美圓的投資收益為 1.5美圓 以年輕人為對象的培訓(xùn)失敗了 議會(huì)削減了職業(yè)培訓(xùn)與合作伙伴關(guān)系法項(xiàng)目中培訓(xùn)年輕 人的預(yù)算,但增加了對成年人培訓(xùn)的預(yù)算 評估協(xié)助判定并取消無效的項(xiàng)目,并將資源重新分 配給成
7、本效益高的項(xiàng)目 實(shí)例 2 中東歐局培訓(xùn)影響力評估 捷克共和國、匈牙利、波蘭和土耳其 對 ALMP的準(zhǔn)實(shí)驗(yàn)評估包括使用通用方法的培訓(xùn) 就業(yè)培訓(xùn)的影響力 除了土耳其,在其他國家均取得的影響范圍較小但積 極的影響力;在某些國家的影響力較為持久 對婦女、青年工人以及中等教育水平以下人群的的影 響力更大 各國培訓(xùn)產(chǎn)生的影響力有共性也有差異:各國應(yīng)自 行開展評估活動(dòng) 評估結(jié)果導(dǎo)致土耳其和捷克共和國改進(jìn)了培訓(xùn)既定 目標(biāo),明確了婦女作為培訓(xùn)的對象 實(shí)例 3 墨西哥中小企業(yè)培訓(xùn)項(xiàng)目 (CIMO) 勞動(dòng)部向中小企業(yè)提供培訓(xùn)和技術(shù)援助項(xiàng)目以提高企業(yè) 的生產(chǎn)力和工人的收入 2項(xiàng)對象組企業(yè)和對比組企業(yè)準(zhǔn)實(shí)驗(yàn)評估的混合結(jié)果 提高了中期結(jié)果,例如培訓(xùn)、勞動(dòng)力的流動(dòng)、應(yīng)用質(zhì) 量控制、次品率下降等 參與該項(xiàng)目的企業(yè)生產(chǎn)力水平較低:該項(xiàng)目僅對生產(chǎn) 性較低的企業(yè)有吸引力 但是,生產(chǎn)力差異將隨著時(shí)間的推移而減小,差異之 差別程度程序( DID) 顯示出積極影響力 關(guān)注選擇性和未觀察特點(diǎn)的影響,收集項(xiàng)目前后數(shù) 據(jù) 謝謝 本演示細(xì)節(jié)見論文。有關(guān)評估設(shè)計(jì)、 方法論和結(jié)果的進(jìn)一步研究請見參考 文獻(xiàn)。