作者序
當我的第一本書《評鑑研究》甫於1972年出版,評鑑是當時研究領域的新工具。這段期間以來,評鑑的經驗逐漸累積。許多類型方案當時正經歷首次嚴格的檢視,今日已成為數以百計、甚至是數以千計的評鑑討論主題,我們對於方案如何有效進行運作知道的更多,我們也知道更多關於評鑑方法、統計技術和質性評鑑策略。
我們也知道要解決社會問題是困難且吃力的,需要有大量的金錢、時間、毅力及想法。本國及世界上許多其他國家的社會問題沒有什麼簡單的解決方法,沒有神奇子彈可以消滅犯罪、貧窮、疾病或是環境的敗壞。人們將持續擔心教育、暴力和社區凝聚力。改善得一步步來,而改善得需要仔細、系統化的評鑑來辨別哪種干預形式有較好的效果。伴隨著評鑑所帶來的資訊和洞察力,組織及社會將更能提升以改進人類福祉為旨的政策及方案。
本書主要鎖定三種對象:最主要是為需要評鑑入門知識的大學生或研究生。它是本非技術性的書、不需要統計知識,以簡單且容易閱讀的文字寫成。顧及新手的需求,我以淺白文字介紹研究和評鑑的概念。學生們會發覺先認識一些基礎科學的研究方法是有益的。
第二類讀者是有經驗的評鑑者們。這本書所談到哲學、基本原則和評鑑的程序,會讓已經從事評鑑工作多時(或剛踏入評鑑領域)的人感到特別有幫助。
第三類讀者是行政人員、方案主管、決策者、政府、以及基金會之方案管理人員。這些人不需要自己從事評鑑,但他們得將評鑑委託出去、檢視評鑑提案以及讀取評鑑報告。他們需要了解什麼是評鑑、評鑑可以做到什麼、以及做不到什麼、如何去辨別一個好的評鑑提案、以及好的之於壞的評鑑報告。他們必須知道如何去支持好的評鑑、以及判斷他們所讀到及贊助的評鑑有多少是值得信任的。
新增加部分
這本書是《評鑑研究》十年後的後續版本。許多討論是先前書中已提及想法的詳細闡述。比如,我依然相信評鑑者需要了解評鑑要求的背後目的,以及什麼是各方團體想要評鑑達成的使命,我相信好的設計和測量是從事評鑑所必須的,我相信評鑑有明顯的政治面向,評鑑者們需要了解方案組織內的政治,以及方案外圍的政治脈絡。
但我對幾個重要事項已有了不一樣的想法。我認知到評鑑不僅是單獨為下決定所提供的資訊。的確,讓決策者知道計畫的狀況,可以幫助他們更明智的規劃方案和政策,但這並不是評鑑的唯一功用。我已經做過關於評鑑如何被應用的研究,逐漸領悟到將評鑑發現應用於決策並不容易。除了評鑑呈現的證據以外,有許多因素會影響到做決策。當只有少部分需要改進,或是當要改變的部分符合該組織需求,來自評鑑的發現或許是最能被立即應用的。但評鑑還有許多其他重要用途,它們常對於議題、選項和意見等有長期或是間接的影響。
我也新增了主題,並針對早先版本簡約帶過的部分再加充實。我加入了一章關於質的評鑑、而且把之前僅數頁關於方案理論的部分,在這本書發展成一個完整的章節。我花了更多心力在歷程評鑑──探討方案運作中所發生事情的研究。我擴大討論評鑑者如何能透過與方案人員共同合作而獲益。在方案開始、方案進行期間、解釋結果、以及根據結果發展新方案時,合作都會相當有幫助。比起十年前、這四個主題在評鑑中變得更為重要了。
這本書也包括了方案評鑑的歷史以及它在社會當中的位置。它提供了關於測量和資料蒐集的詳細指引,而且包括了一章關於分析─在資料蒐集之後該如何處理。我也徹底地討論後設分析和成本─效益分析,也包含了討論非實驗資料的統計校正。對於整本書的論述,我也特別注意納入研究進行前、中、後階段的研究倫理議題。
綜觀
這本書的主要目的在於當作評鑑入門課程的參考用書。它提供了實用的導引、從評鑑研究執行的起始、歷經規劃階段、到研究設計、資料蒐集及分析資料、直至報告撰寫、傳播還有結果的應用。
第一章說明評鑑的定義,提供例子,以及討論數個不同的評鑑類型。它也追溯了數個世紀以前的評鑑歷史。第二章描述了哪些方案與政策參與者決定評鑑的目的,以及不同目的對後續評鑑的效果。它也探討了評鑑通常被委託執行的不同程序,以及評鑑團隊在此結構中的重要位置。
第三章討論了解方案的重要性。知道方案是什麼、如何運作、以及它被期待能達到的成效,這些將幫助評鑑者發展出一個能對重要議題有所回應的研究。第四章對於研究規劃提供具體建議。它討論了已經有的選項以及可以從中挑選的依據。它強調計畫是個不斷重複的過程,當外在條件干擾時,評鑑者需要一再地修改計畫。第五章提及利害關係人,對於評鑑及其結果有著利害關係的不同團體,而且提及何時該將這些人納入評鑑規劃與執行,並討論評鑑者如何能有效地與利害關係人合作,讓研究更合乎他們所關心的議題,受益於他們的知識,並且不犧牲更多研究的利益或可信度。
第六和第七章處理量化評鑑中關於測量和資料蒐集的議題。第六章說明方案的投入、過程、中期進展指標、結果,以及可能非預期結果的測量選擇。它列表提供了可取得測量的來源,挑選好的測量工具的依據,以及建構新測量工具的具體建議。第七章關於一系列蒐集資料的策略:非正式交談、觀察、正式訪談、問卷、已有的紀錄、檔案、已有的調查等等。它提供抽樣、不同資料蒐集方法、與資料編碼的意見,並強調(誠如前述的章節)所涉及的倫理考量。
設計是評鑑中的關鍵要素:指出哪些部分將被研究、如何選擇、將進行什麼樣的比較、以及這些探究進行的時機。第八和第九章強調設計必須符合待答問題,且指出必須考慮進去的重點。第八章呈現了各種設計──從方案參與者的非正式評鑑到比較團體的運用,包含調整比較組的方法到接近參與方案的團體。第九章描述控制實驗,根據隨機分派將參與者分配至實驗組和控制組。該章指出如何實施隨機實驗,並討論過程中可能發生的問題,也討論對於設計的批評,並且檢視什麼批評是有根據的,而什麼是需要被處理的。第十章提供三個讓設計更完善的機制:重複試作(replication)、後設分析(meta-analysis)、成本效益(cost-benefit)以及成本效能(cost-effectiveness)分析。它解釋了每個程序的作法、以及何時使用他們具正當性。
第十一章敘述質性的評鑑。它描述了幾個質性的研究類型、對資料來源、資訊的蒐集、分析策略以及在研究現場所產生的研究倫理議題提出建議。它提到如何綜合質性的與量化方法、對於質量並用的建議。第十二章提供分析及詮釋資料的導引。它提供質性與量化研究相同的指引,說明分析工作的邏輯。
第十三章聚焦在報導結果和傳播給相關的讀者。它提供報告的技巧及滿足不同大眾的訣竅。絕大部分在強調溝通和結果的傳播,它提及評鑑者的責任──尤在鼓勵評鑑結果的應用,建議應用到方案議題和政策上。第十四章歸納本書的主軸,也是我希望能受重視的。
致謝詞
無法去感謝所有的人,他們的經驗、想法、鼓勵與批判都提升我對評鑑的瞭解。我得列出所有評鑑書籍與文章的目錄(至少是那些我曾讀過的),列舉出十多個國家中、數百篇評鑑報告的作者,還得列出好幾屆在我評鑑課堂上分享他們的興趣與疑惑的學生們。雖然我感謝其他數以百計的其他人,但在此僅限於那些直接幫助過我的人。
我極其幸運地在身為行為科學進階研究中心
(CenterforAdvancedStudyintheBehavioralSciences)一員的時候,開始寫作這本書,該中心孕育著豐富且樂於助人的同事情誼。我在哈佛大學任教時完成這本書,一個能自我豐富滋養的環境。兩個具仁慈且彌足堅毅的人閱讀整個初稿而且給了很好的批評:WillShadish和JanetWeiss,而我欠此兩位的恩情至深。他們看過隱藏的內容以及寫出的文稿,使我釐清我想說的。
JohnWillett仔細地讀了四個關於設計與分析的章節,教導我、跟我辯論,而且幫我指出正確的方向。RobertT.Brennan審視關於測量與資料蒐集的章節,做了細部的建議,使得內容更正確且完整。其他讀過初稿且幫助我在內容上有所改善的還有JosephMaxwell,MercerSullivan,HarrisCooper,以及SharonRallis。LeeCronbach,DavidFetterman和JudithSinger提供參考書目、建議和洞察力。
JayBraatz在辭典及圖表上幫助甚多。也感謝 StuartYeh,ChrisMazzeo,MaryJoLarson在圖書資料的協助。謝謝 MarkAnderson-Wilk和KathyGeorge幫忙初稿的打字。
我特別感謝JohannaBirckmayer。Jo一直是資訊和建議的來源。她閱讀後續的文稿,這數月來的批評、判斷、鼓勵讓我受益匪淺。
在這本書中如果仍有任何缺失就該是一群指導教授們的責任了。(純屬虛構,只是這麼說很有趣。)
CarolHirschonWeiss
(美國哈佛大學教授)
黃序
評鑑,在二十世紀即已發展成為很重要的學術強項,各個學術領域莫不把評鑑納入其研究範圍,視為重要的環節,進入二十一世紀,其重要性越來越高,應用得越來越普遍。在此風潮下,國內的評鑑領域亦蓬勃發展起來,且受到績效主義的加持,幾乎到了無所不評鑑的地步,尤其是政策和方案的推動,莫不掛上評鑑,實施階段性或總結性的評鑑,這雖有其理解及改進效果存在,但若未做好規劃和實施,也可能造成評鑑的泛濫和災難。
評鑑領域在追求科學化的過程中,一定要注意科學不等於量化,更勿遺忘評鑑的人文面,宜把評鑑視為人的工作,要符合人性的本質,也要注意人性的弱點。評鑑領域發展迄今,卻走過不少歪路,常見問題之犖犖大者有幾方面。其一為評鑑的目的在改進或績效,前者令人感到溫暖,有助於進步和發展,後者令人感到緊張,可供決策之用,卻常產生事務真相的矇蔽,兩者如何拿捏是一門學問。其二是量化主義盛行,評鑑常以數據代表成績,忽略事務的質性層面,脫離事務複雜的本質,以致評鑑結果的用途出現嚴重的侷限。其三為僅重評鑑事務的最終結果,不重視事務發展的背景、輸入和過程,導致無法對事務進行全面的理解,也就難以真確地判斷事務的價值。其四是評鑑完成寫出報告,常被束諸高閣,未能妥善利用來改進或發展,評鑑變成只是整個政策或方案過程的儀式,白白浪費評鑑資源。其五是各項評鑑工作未加以整合,各機關團體不斷接受各種評鑑,花費許多資源去準備評鑑資料,反而沒有時間致力於做好本身該做的事。最後是評鑑倫理問題,評鑑工作有許多倫理尚待討論、澄清和實踐,其中的政治、權力和利益關係更是關鍵。所有的評鑑都必須面對並解決這些問題。
個人身為評鑑學術和實務的工作者之一,常需要針對前述問題尋求解決之道,讓評鑑發揮更大的價值。很高興看到臺灣師範大學教育系王麗雲副教授及其團隊,以信雅達的文筆譯出「政策和方案評鑑」,該書是評鑑學術巨擘美國哈佛大學教育學院CarolH.Weiss教授的重要著作,原文自出版以來對學術和實務界的影響深遠。該書內容包含評鑑的意義、目的、方法、設計、利用與倫理,理論實務兼具,有助於解決長久存在的評鑑問題,堪稱評鑑研究者和工作者必讀的好書。
王麗雲博士專研政策與評鑑,研究著述質量俱佳,就讀於哈佛大學時,受教於CarolH.Weiss教授,對其學術知之甚熟稔,由她主譯本書再恰當不過。個人曾受CarolH.Weiss推薦,於1986-7年間在哈佛大學擔任訪問學者,期間閱讀不少她所發表的著作,完成課程評鑑專書,對她感念甚深。故值此譯著面世之際,樂為之序,期待該書得以推進國內評鑑領域的良性發展。
黃政傑
靜宜大學教育研究所講座教授
臺灣教育評論學會、
中華民國課程與教學學會理事長
2013年11月18日
主譯者序
國內改革與政策經常推陳出新,應接不暇,令人眼花撩亂,這些改革或政策也投入不少經費,動輒數千萬、數億、數十億,有些又需動員相當多基層人力配合執行,人力物力時間成本高。不過,這些改革、政策與方案是否達成原先預期的目標?如果有,值不值得?又產生那些未預期的效果?更重要的是政策或方案為什麼有效?或者又為什麼無效?如果無效,是政策設計的問題?還是政策執行的問題?這些問題極少受到重視與研究,長久以來政府經費不斷投入,基層人力也隨改革忙碌或空轉,卻少有人問:「政策或改革成就了什麼?」
「只問耕耘,不問收穫」的心態,讓政策領域無法累積知識,提升政策設計與政策工具的品質,長久以往,人力物力浪費不說,更讓大眾對改革冷漠、疏離、習慣性排斥,讓未來的改革或政策推動更為困難。《政策與方案評鑑》一書,即是由評鑑的角度,探討政策與方案的成效與成敗原因。政策失敗固然令人扼腕,但是不知道為何失敗,甚至不斷重複失敗,無法產生有效的政策學習,無法更聰敏地施政,是更大的罪惡。掌握國家巨額經費,掌控基層人力精力、時間的決策者、立法者、行政人員,都需具備政策與方案評鑑素養,除了努力推新政策、新改革外,更要透過評鑑自問自省,掌握政策或改革的績效與問題,讓經費與人力物力作最佳的運用,也讓政策或改革的目標可以達成。成效不彰的改革,不如不做。缺乏評鑑反省的改革或政策,常只是權力或利益重分配的工具,或是天真者的遊戲場,看不見改革或政策的實質效益。
政策與方案評鑑是系統性的研究,是以本書亦是研究法的著作。國內研究法的書,較偏一般性,不太適合政策與方案評鑑與研究所需處理問題特性。雖然政策與方案評鑑在資料蒐集與分析上與一般研究法無太大差異,但是在研究問題擬定、研究準備、研究設計、研究(評鑑)者角色、研究結果應用等面向上,卻有較不同的考量,本書對這些議題有很清楚地說明。簡言之,政策與方案評鑑者要在政策或政治領域有所貢獻,優秀的研究能力是不可缺的,才能在政治叢林中發揮啟蒙(enlightenment)之功。
本書作者Dr.CarolH.Weiss是哈佛大學教育學院教授,也是評鑑研究(evaluationresearch)領域的知名學者,關心政策實務與政策研究,在其學術生涯中參與美國聯邦政府相當多政策研究或評鑑案,如貧窮戰爭(WaronPoverty)、青年方案(YouthProgram)等等,對於研究在政策領域的能與不能有深刻的瞭解,也累積豐富的實務觀察與心得,引發她另一個重要研究貢獻:「研究應用」(researchutilization),現在也是美國教育研究界重要的議題。Dr.Weiss曾說:「評鑑是在政治脈絡下的理性工作」(Evaluationisarationalenterprisethattakesplaceinapoliticalcontext.)。
談到評鑑者的角色,認為評鑑者應該「視自己為發展行動所需知識事業的一部分」(Evaluatorsshouldviewthemselvesaspartofanongoingenterprisetodevelopknowledgeforaction)。Weiss也提醒評鑑者,「沒有什麼比一個好的理論更實用了」(Thereisnothingaspracticalasagoodtheory)。政策與方案評鑑不能只是說政策或方案好不好,更要能解釋政策或方案為什麼好,或為什麼不好。換句話說,政策與方案評鑑是理論建構的過程,不只是價值判斷的活動。國內的政策與方案評鑑做得不多,多以價值判斷為焦點,將評鑑拉到政策理論建構層次的,少之又少,也難怪國內政策或方案的品質與成效常粗糙、盲從、濫情。
Dr.Weiss雖然在哈佛大學教育學院工作,但本書對教育以外其他領域之政策與方案評鑑都能適用。舉凡教育、社會、衛生、交通、警政、稅賦、財政、醫療、勞工等公共行政與政策領域,只要想改進政策品質,都可以由本書獲得相當大的啟發。耐心讀完本書,對於政策與方案評鑑的研究設計與實施,以及政策與方案的改良精進,將能建立完整的概念。
我在1991年獲公費赴哈佛大學教育學院求學,認識Dr.Weiss,有幸成為她的指導門生,開啟了我對政策與方案評鑑的研究,也因為她的鼓勵支持,讓我辛苦但充實的完成博士。Dr.Weiss的為人與為學,是我的楷模,女性在政策研究界相當孤獨,有這樣的楷模走在前面,後人步伐更為堅定。慚愧的是老師上課很少講自己的東西,都是以他人的作品為主,一直要到後期才自己發現老師在學界的成就與地位,若早些挖掘,或許有更多深入請益的機會。一直往外看,往內想,就是Dr.Weiss的學術特質。
這本書開始翻譯已久,越來越忙,只能獨力完成前六章,感謝江淑真博士、謝卓君博士、李明穎、張繼寧、林芳穎的幫忙,完成其他章節。
Dr.Weiss於今年一月辭世,本書能在同年由我與我的指導學生一起完成,也算是獻給Dr.Weiss的紀念,感謝她帶給我們的智慧與信心,希望一起繼續努力,跟著Dr.Weiss的步伐,透過評鑑研究,提升政策與方案的品質。非常感謝黃政傑教授能替本書寫序,他是我碩士班的指導教授,當初我會報考教育部公費留學教育評鑑學門,進入哈佛大學求學,也是黃老師的啟發帶領,他與Dr.Weiss也熟識,沒有人比他更適合寫推薦序。
本書的第1至6章及評鑑辭典由本人翻譯,江淑真博士負責第7至9章、第14章。東華大學謝卓君教授負責第13章,同樣也獲得公費留學獎學金赴美攻讀博士的李明穎小姐負責第11章,張繼寧博士生負責第12章,和平高中林芳穎老師負責第11章。校閱則由本人負責。
最後要謝謝學富發行人于雪祥先生的支持與耐心,沒有他的協助與理解,這本書不可能問世。
王麗雲
國立臺灣師範大學教育學系、
教育政策與行政研究所副教授
2014年5月20日