《培訓(xùn)項(xiàng)目評(píng)估世界銀行學(xué)院》由會(huì)員分享,可在線閱讀,更多相關(guān)《培訓(xùn)項(xiàng)目評(píng)估世界銀行學(xué)院(17頁(yè)珍藏版)》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。
1、Hong Tan 高級(jí)經(jīng)濟(jì)學(xué)家 世界銀行學(xué)院人力發(fā)展局 對(duì)培訓(xùn)項(xiàng)目進(jìn)行評(píng)估: 一個(gè)全球適用的初級(jí)評(píng)估實(shí)例 背景 全球?qū)︶槍?duì)失業(yè)和勞動(dòng)力生產(chǎn)力低下開(kāi)展的培訓(xùn)活 動(dòng)興趣很大,卻受到培訓(xùn)成本高昂的阻礙。 鑒此,決策層對(duì)評(píng)估和了解以下問(wèn)題感興趣: 培訓(xùn)項(xiàng)目有作用嗎?培訓(xùn)對(duì)象是誰(shuí)? 培訓(xùn)能提高成效嗎? 這些問(wèn)題 無(wú)法 從以下方面得到回答: 績(jī)效研究和機(jī)制評(píng)估研究 受訓(xùn)者滿意度主觀評(píng)估 需要對(duì)比組的純效應(yīng)評(píng)估研究 純效應(yīng)評(píng)估 回答這些問(wèn)題的唯一方法是 : 把培訓(xùn)項(xiàng)目的受訓(xùn)者(對(duì)象組)的結(jié)果與未接受 培訓(xùn)的類似人群(對(duì)比組)進(jìn)行比較 。 實(shí)例 : 80% 的受訓(xùn)者獲得了就業(yè)。但是只有 60%的能 夠自行找到
2、工作,其余的 20%差異是培訓(xùn)純效應(yīng) 的估計(jì)值,為評(píng)價(jià)投資的公共收益提供了基礎(chǔ)。 所面對(duì)的挑戰(zhàn)是反事實(shí)的 建立起一個(gè)由類似 個(gè)體組成的未參加培訓(xùn)項(xiàng)目的對(duì)比人群。 目標(biāo) 了解主管部委(由誰(shuí)來(lái)評(píng)估)和決策者(由誰(shuí) 決定資源分配)關(guān)于影響力評(píng)估的核心概念和 方法 為培訓(xùn)和其他勞動(dòng)力市場(chǎng)項(xiàng)目提供一個(gè)介紹評(píng) 估純影響力的設(shè)計(jì)和數(shù)據(jù)收集的入門手冊(cè) 著重強(qiáng)調(diào)一些可能的對(duì)項(xiàng)目影響力進(jìn)行評(píng)估時(shí) 易犯的錯(cuò)誤,并通過(guò)修正錯(cuò)誤來(lái)修正培訓(xùn)項(xiàng)目 的設(shè)計(jì),改進(jìn)評(píng)估的既定目標(biāo) 講課大綱 1. 影響力評(píng)估方法 實(shí)驗(yàn)設(shè)計(jì)和準(zhǔn)實(shí)驗(yàn)設(shè)計(jì) 2. 設(shè)計(jì)原則 3. 估計(jì)培訓(xùn)的影響力 整體影響力、分組分析、相互作用 4. 培訓(xùn)項(xiàng)目評(píng)估實(shí)例
3、評(píng)估設(shè)計(jì)、評(píng)估發(fā)現(xiàn)和教訓(xùn) 評(píng)估方法 實(shí)驗(yàn)設(shè)計(jì) 培訓(xùn)前評(píng)估對(duì)象和對(duì)比組的隨機(jī)分組 分組程序要確保對(duì)象組和對(duì)比組具有類似特點(diǎn) 準(zhǔn)實(shí)驗(yàn)設(shè)計(jì) 培訓(xùn)后從培訓(xùn)人群中選出對(duì)象組,從非培訓(xùn)人 群中選出對(duì)比組 應(yīng)用統(tǒng)計(jì)技巧確保具有類似特點(diǎn) 實(shí)驗(yàn)設(shè)計(jì) 優(yōu)點(diǎn) 解釋評(píng)估結(jié)果簡(jiǎn)便易行 培訓(xùn)產(chǎn)生的純影響力既是對(duì)象組和對(duì)比組平均結(jié)果之 間的差異 缺點(diǎn) 受訓(xùn)者中的“精華” , 分組中的倫理問(wèn)題及“霍桑效應(yīng) ” 醞釀時(shí)間長(zhǎng)達(dá) 2-3年 需要有優(yōu)良的數(shù)據(jù)收集為基礎(chǔ) 準(zhǔn)實(shí)驗(yàn)設(shè)計(jì) 優(yōu)點(diǎn) 通??稍谝荒陜?nèi)完成 降低成本和簡(jiǎn)便數(shù)據(jù)收集過(guò)程要求評(píng)估建立在 現(xiàn)存行政記錄的基礎(chǔ)之上 缺點(diǎn) 要求在統(tǒng)計(jì)方法方面擁有實(shí)力,建立一個(gè)類似 的對(duì)比組并對(duì)項(xiàng)
4、目影響力進(jìn)行評(píng)估 某些挑戰(zhàn) (見(jiàn)下 ) 對(duì)比組方面的問(wèn)題 準(zhǔn)實(shí)驗(yàn)設(shè)計(jì) 培訓(xùn)前后的對(duì)比 把受訓(xùn)者自身作為對(duì)比組 對(duì)觀察對(duì)象的還原 使用 OLS評(píng)估影響力,排除觀察對(duì)象特點(diǎn)方面的差 異 對(duì)評(píng)估的影響 選擇性還原 使用 Heckman修正法排除主觀對(duì)未觀察到的特點(diǎn)的 偏見(jiàn)對(duì)影響力評(píng)估造成的影響 傾向得分配合 使用蓋然性得分法改進(jìn)對(duì)比組與對(duì)象組的配合 設(shè)計(jì)原則 某些原則同時(shí)適用兩種方法 統(tǒng)一資格標(biāo)準(zhǔn) 足夠的抽樣規(guī)模 抽樣法和數(shù)據(jù)收集 標(biāo)準(zhǔn)處理 合理的成本和時(shí)間框架 穩(wěn)定的評(píng)估環(huán)境 與其他項(xiàng)目的相互作用 評(píng)估影響力 1) E(Yp) E(Yc) T-檢驗(yàn)對(duì)象組 “p”的結(jié)果 Y (例如收入、就業(yè) )是否
5、有 別于 對(duì)比組 “ c”的結(jié)果 Y 2). Yi = a0 + a1Pi + ui 多層還原等同于 (1), P 是 1,0表明該個(gè)體 “i”是受訓(xùn)者 ,并檢測(cè)項(xiàng)目影響力 a1是否有意義 其他評(píng)估問(wèn)題 1). Yi = a0 + a1Pi + a2Xi + ui 采用還原法調(diào)整特點(diǎn) X上的差異并評(píng)估純影響力 2). Yi = a0 + a1P1i + a2P2 + ui 分析培訓(xùn)項(xiàng)目的次組成因素 P1和 P2, 例如培訓(xùn)時(shí)間 長(zhǎng)短、公共培訓(xùn)和私營(yíng)培訓(xùn) 3). Yi = a0 + a1Pi + a2P.ES + a3ES + ui 檢測(cè)培訓(xùn)和其他就業(yè)服務(wù)之間的相互作用效應(yīng) ES 未觀察項(xiàng)問(wèn)題
6、對(duì)未觀察特點(diǎn)的主觀偏見(jiàn)影響培訓(xùn)決策和培 訓(xùn)結(jié)果 1) Heckman選擇性程序 修正未觀察特點(diǎn)后對(duì)影響力進(jìn)行評(píng)估 2) 差異之差別程度程序 排除未觀察特點(diǎn)的影響,使用培訓(xùn)前后對(duì)象 組和對(duì)比組的數(shù)據(jù)對(duì)影響力進(jìn)行評(píng)估 實(shí)例 1 美國(guó)職業(yè)培訓(xùn)與合作伙伴關(guān)系法 (JTPA) 使用隨機(jī)分組實(shí)驗(yàn)設(shè)計(jì)對(duì)職業(yè)培訓(xùn)與合作伙伴關(guān)系法進(jìn) 行多年期評(píng)估 結(jié)果 以成年人為對(duì)象的培訓(xùn)取得了成功 提高收入 7-11 %, 每 1美圓的投資收益為 1.5美圓 以年輕人為對(duì)象的培訓(xùn)失敗了 議會(huì)削減了職業(yè)培訓(xùn)與合作伙伴關(guān)系法項(xiàng)目中培訓(xùn)年輕 人的預(yù)算,但增加了對(duì)成年人培訓(xùn)的預(yù)算 評(píng)估協(xié)助判定并取消無(wú)效的項(xiàng)目,并將資源重新分 配給成
7、本效益高的項(xiàng)目 實(shí)例 2 中東歐局培訓(xùn)影響力評(píng)估 捷克共和國(guó)、匈牙利、波蘭和土耳其 對(duì) ALMP的準(zhǔn)實(shí)驗(yàn)評(píng)估包括使用通用方法的培訓(xùn) 就業(yè)培訓(xùn)的影響力 除了土耳其,在其他國(guó)家均取得的影響范圍較小但積 極的影響力;在某些國(guó)家的影響力較為持久 對(duì)婦女、青年工人以及中等教育水平以下人群的的影 響力更大 各國(guó)培訓(xùn)產(chǎn)生的影響力有共性也有差異:各國(guó)應(yīng)自 行開(kāi)展評(píng)估活動(dòng) 評(píng)估結(jié)果導(dǎo)致土耳其和捷克共和國(guó)改進(jìn)了培訓(xùn)既定 目標(biāo),明確了婦女作為培訓(xùn)的對(duì)象 實(shí)例 3 墨西哥中小企業(yè)培訓(xùn)項(xiàng)目 (CIMO) 勞動(dòng)部向中小企業(yè)提供培訓(xùn)和技術(shù)援助項(xiàng)目以提高企業(yè) 的生產(chǎn)力和工人的收入 2項(xiàng)對(duì)象組企業(yè)和對(duì)比組企業(yè)準(zhǔn)實(shí)驗(yàn)評(píng)估的混合結(jié)果 提高了中期結(jié)果,例如培訓(xùn)、勞動(dòng)力的流動(dòng)、應(yīng)用質(zhì) 量控制、次品率下降等 參與該項(xiàng)目的企業(yè)生產(chǎn)力水平較低:該項(xiàng)目?jī)H對(duì)生產(chǎn) 性較低的企業(yè)有吸引力 但是,生產(chǎn)力差異將隨著時(shí)間的推移而減小,差異之 差別程度程序( DID) 顯示出積極影響力 關(guān)注選擇性和未觀察特點(diǎn)的影響,收集項(xiàng)目前后數(shù) 據(jù) 謝謝 本演示細(xì)節(jié)見(jiàn)論文。有關(guān)評(píng)估設(shè)計(jì)、 方法論和結(jié)果的進(jìn)一步研究請(qǐng)見(jiàn)參考 文獻(xiàn)。