參、實驗研究的內外在效度
會採用實驗研究法進行研究,主要目的是想探討自變項對依變項的因果關係。當研究設計能嚴謹控制其他無關變項的干擾,而讓依變項只受到自變項的影響,則較能精準的判斷自變項與依變項的因果關係。相對地,若實驗設計不佳,導致依變項除了受自變項的影響外,也受到其他無關變項的影響,則無法準確的釐清自變項與依變項的因果關係,此即為內在效度(internal validity)的問題。所謂內在效度是指實驗研究能精準呈現自變項對依變項之因果關係的程度,實驗設計若能排除其他無關變項的影響,而能精準顯示自變項對依變項的因果關係,則該實驗具有較高的內在效度,故內在效度是實驗研究的一項重要特質。除了內在效度,外在效度(external validity)則是實驗研究另一項重要特質。通常實驗研究的對象,常是從母群所有受試者中,抽選出一群受試者作為樣本。實驗具有高的內在效度,只表示對樣本受試者而言,該實驗的結果能清楚呈現自變項對依變項的因果關係。但該實驗的研究結果,能否類推到母群所有受試者身上,則屬於外在效度的問題。若針對樣本受試者所獲得的研究結果,也能類推到母群其他受試者,則表示該實驗具有高度的外在效度。
一、影響內在效度的因素
Campbell與Stanley(1963)主張有八種情況會威脅實驗研究的內在效度,包括歷史事件(history)、成熟因素(maturation)、測驗(testing)、測量工具(instrumentation)、統計迴歸(statistical regression)、樣本選擇偏誤(biases)、樣本流失(experimental mortality)、樣本選擇與成熟因素交互作用(selection-maturation interaction)等。
(一)歷史事件
歷史事件是指在前測與後測之間的時間內,發生某項事件而導致在整個實驗歷程中,除了自變項會影響依變項外,其他無關變項(該項事件)也影響依變項。由於依變項同時受到自變項與該事件的雙重影響,因而無法將依變項的變化情形,單獨歸因於自變項的影響,造成無法確定自變項與依變項的因果關係。例如在進行一項觀看吸菸對身體造成傷害的影片,以探究觀看影片能否降低吸菸者吸菸次數之實驗研究。在進行該項實驗的期間,恰好遇到政府推動課徵香菸稅的新措施,導致菸商紛紛調高香菸售價。此項課徵香菸稅的事件,有可能導致吸菸者減少吸菸的次數。故實驗結束後發現,若發現吸菸者確實有減少吸菸的次數,則此項結果可能是受到影片的影響,也可能受到香菸價格提高的影響,而無法很肯定的判斷是否觀看該影片真能影響吸菸者的吸菸次數。
(二)成熟因素
成熟因素是指在實驗期間,受試者身心狀態的改變,包括身體變強壯、智力提高、思想更成熟…等方面的改變。當然也可能身體變得更容易疲倦、記憶力降低或越覺得無聊…等方面的改變。不論是身心正向或負向的改變,都可能對依變項產生影響,而造成無法單獨確定自變項對依變項的因果關係。
例如一項為期三年的實驗研究,針對經濟弱勢學童提供營養補給品,想探究透過營養補給品的攝取,能否提高經濟弱勢學童的智力發展。由於該項實驗屬於較長時間的研究,學童三年後的智力發展,除了可能受到營養補給品的影響外,也可能因為成熟因素的影響(隨年紀增加,智力自然提高),而出現無法單獨確定智力提高是因為營養補給品的因素。
(三)測驗
測驗影響是指受試者若接受兩次以上的測驗,則第二次以後的測驗分數,容易受到第一次測驗的影響,而造成第二次測驗分數的改變。例如,有可能第一次施測不會的題目,因為向別人請教後,在第二次施測時獲得正確答案,造成第二次測驗分數提高。當然也有可能第二次施測時,發現與第一次施測題目相同,降低答題的意願,導致第二次測驗成績的下降。若因重複施測而影響依變項分數的改變,如此便無法將依變項分數的改變,單獨歸因於受到自變項的影響。
(四)測量工具
測量工具是指對依變項的計分,可能受到測量工具的影響,造成依變項分數的改變,進而影響實驗的內在效度。例如想探究建構取向的數學教學法,能否提升學生數學解題能力之實驗研究,若選用一份信效度不高的數學解題能力測驗,因無法測量出學生真正的數學解題能力,進而影響實驗結果。除了可能因客觀測驗工具的影響,也可能會受到主觀評分者的影響。例如一項針對寫作教學法的實驗研究,評分者在評閱作文分數時,剛開始進行作文評分時,可能還處於摸索適切的評分標準,而無法精準的評分。隨著評閱份數的增加,評分者越能精準的評分。如此,因評分標準的不一致,而影響實驗結果,亦屬於測量工具的問題。
(五)統計迴歸
統計迴歸是指受試者接受兩次以上的測驗時,若第一次測驗分數是極高分者,其第二次測驗分數常會出現低於第一次測驗分數的情形。同樣地,若第一次測驗分數是極低分者,其第二次測驗分數常會出現高於第一次測驗分數的情形。此種情形也被稱為「向平均數迴歸」(regression to the mean),亦即第一次測驗分數為極端分數者,其第二次測驗分數會傾向平均數靠攏。例如有一項透過教導相當內向的受試者,如何進行社交活動的實驗研究,想透過社交活動的學習,提升極度內向受試者的社交能力。若進行該項實驗前,受試者先接受社交能力量表的前測,實驗結束後受試者再接受社交能力量表的後測。此時容易產生統計迴歸現象,由於研究對象屬於極端內向者,其社交能力量表的前測分數可能出現偏低的情形,根據統計迴歸的現象,受試者即使不接受任何實驗處理,其後測分數也可能會產生高於前測分數的情形,如此一來,實驗處理的效果混淆統計迴歸的現象,將影響此項實驗研究的內在效度。
(六)樣本選擇偏誤
樣本選擇偏誤是指對於受試者的不當選取,導致依變項的改變,此種情形可能起因於進行實驗前,不同組別受試者存在某些特質的差異,而非自變項對依變項的影響,故實驗結果會威脅內在效度。例如在進行一項觀看性別意識的影片,是否會降低大學生性別刻板印象的實驗研究,預定招募的50位大學生,按報名先後順序,將報名前25名大學生分派為實驗組,報名後25名大學生為控制組受試者。如此的實驗設計,會因報名先後順序可能存在對參與該項實驗的動機強弱,造成實驗結果受到實驗組與控制組受試者具不同參與動機,而影響自變項(觀看性別意識影片)對依變項的因果推論。避免樣本選擇偏誤的較佳方式,是透過隨機抽樣與隨機分派的方式。
(七)樣本流失
樣本流失是指在實驗期間,出現受試者退出該項實驗的情形,而影響到實驗結果的因果推論。尤其是若有一組有較多的樣本流失問題,而另一組的樣本流失情形較少時,會讓實驗結果產生更大的實驗誤差。另外,也可能會因流失受試者具有某種相同特質,導致實驗結果的誤差。例如針對一項針對記憶力訓練方案的實驗研究,實驗組的某些受試者,發現經過幾周的記憶力訓練,並沒有提升其記憶力,故退出該項實驗研究。由於實驗組未退出的受試者都是覺得透過記憶力訓練,有助於提升記憶力,最後針對實驗組與控制組的實驗結果考驗時,容易出現高估實驗效果的情形。
(八)樣本選擇與成熟因素交互作用
樣本選擇與成熟因素交互作用是指受試者的挑選與受試者的成熟因素產生相互作用情形,而干擾自變項對依變項的因果推論。當實驗組與控制組的受試者,在某項特質的發展速度不一時,則容易出現樣本選擇與成熟因素交互作用的情形。例如某項針對國小六年級男女生的閱讀理解策略教學實驗,實驗組為六年級男生,控制組為六年級女生。由於實驗組與控制組分別挑選國小六年級男生與女生,此即為樣本選擇的偏誤,再加上國小六年級女生的身心理發展情形,比國小六年級男生更為快速,故實驗結果容易受到樣本選擇與成熟因素的交互作用影響,進而影響實驗結果的內容效度。
二、影響外在效度的因素
Campbell與Stanley(1963)主張有四種情況會威脅實驗研究的外在效度,包括測驗的交互作用效應(interaction effect of testing)、樣本選擇與實驗變項的交互作用效應(interaction effects of selection biases and the experimental variable)、實驗安排的反作用效應(reactive effects of experimental arrangements)、多項實驗處理干擾(multiple-treatment interference)等。
(一)測驗的交互作用效應
測驗不僅可能產生威脅內在效度的情形,也可能會威脅實驗結果的外在效度。當實驗設計是讓受試者接受前後兩次測驗時,受試者可能會因為接觸前測的題目內容,而更清楚實驗研究目的,有助於實驗效果的產生。相對地,當該項研究結果在類推到其他受試者身上時,可能由於缺乏前測的因素,導致實驗效果無法顯現出來。
例如A大學進行一項以閱讀科普讀物,來提升大學生科學素養的實驗研究,研究進行前,先讓實驗組與控制組兩組學生接受科學素養測驗前測,經過一學期的實驗處理後,實驗結束後,兩組學生在同時接受科學素養測驗後測。研究結果顯示,閱讀科普讀物有助於提升大學生的科學素養。鄰近的B大學根據A大學的此項研究結果,積極推動科普讀物的閱讀,經過一學期後,大學生接受科學素養測驗,但未事先讓B大學的大學生接受科學素養測驗前測,結果發現B大學的大學生科學素養沒有明顯提升,此即產生測驗的交互作用效應。
(二)樣本選擇與實驗變項的交互作用效應
樣本選擇若出現選擇偏誤時,容易與實驗變項產生交互作用,進而影響實驗研究的外在效度。當挑選出特定的實驗研究對象時,則研究結果將無法適用於其他的受試者。例如實驗組挑選到的研究對象,對參與實驗研究的動機較高,而控制組挑選到的研究對象,其參與實驗研究的動機較低,則容易產生樣本選擇與時研變項的交互作用。
(三)實驗安排的反作用效應
不論實驗組或控制組的受試者,若覺察到實驗安排的狀態時,容易產生不符合平常的反應,如此將威脅實驗結果的類推效果。「霍桑效應」(Hawthorne effect)是實驗組受試者覺察實驗安排的最典型實例,霍桑廠工人覺察到自己正被進行實驗,所以即使在較差的工作環境下,仍然展現出高度的工作效率。相對地,「強亨利效應」(Henry effect)是指控制組受試者覺察實驗安排後,以「不服輸」的態度,展現出異乎平常表現的水準。此兩種在實驗情境中產生的實驗反效果,並不適用於非實驗情境的日常生活情境。
(四)多種實驗處理干擾
當受試者重複接受多種實驗處理後,容易受前一項實驗處理的干擾,而影響後一項實驗處理的實驗結果,此種實驗結果只能適用於同時採用多種實驗處理的實驗情境,無法適用於只採用單一實驗處理的實驗情境,故也會威脅實驗結果的外在效度。