|
隨機測驗(Randomistus)，此書為澳大利亞Axderew
Leigh教授所著作。內容著重於如何以隨機測驗以解答醫學、社會科學等種種問題。研究人員面對問題如何自主觀的臆測而轉成客觀的試驗?如何進行試驗，如何達到客觀隨機取樣而不是主觀猜測，此書是難得的好書。
中譯本來自春山出版有限公司，此書精華，也是閱讀十二章捷之後，作者提出的〝自行進行隨機試驗的十條戒律〞附錄如下：
自行做隨機試驗的十條戒律
進行成功的隨機試驗，需要罕見地結合多種天賦。最優秀的隨機分子要具備專門的技術、經營的智慧、政治的悟性，以及勇氣。
準備好試試看了嗎?以下是你應該考量的十個步驟。
1. 決定你想要測試的對象
最簡單的作法是測試一種新的介入手段，並與一個沒有受到任何干預的對照組比較。有些研究室在兩種以上的介入手段之間做評比。交叉式隨機試驗會結合多種介入手段。舉例來說，一個支持自僱者的計畫可能會提供訓練、現金補助、兩種都有，或者兩種都沒有。如果某種介入手段出現立即的影響，你甚至可以交替執行或停止，間隔隨機決定。例如你要測試，某套睡前慣例行為是否能減輕失眠狀況，接下來的一個月你就隨機在半數的晚上執行這套慣例行為，並且使用手機應用程式來監測每天晚上的睡眠狀態。
2.
運用創意去思考要如何在計畫中創造出隨機的差異
告訴一群人說計畫不會實施在它們身上，這麼做有時候並不實際或符合倫理。如果遇到這種情形，你就要考慮不同於一般隨機試驗的替代作法。如果一項政策已經決定以兩年的時程來進行，那麼何不隨機決定第一年與第二年實行的對象分別是誰?如果你想要評估一個已經在運作，但是使用頻率很低得方案，你能不能利用宣傳活動或誘因來隨機促成一些人使用這個方案?
3. 考量對照組會怎麼做
設想自己是分配到對照組的人。換成你會怎麼做?回想美國「及早啟蒙」幼兒計畫的評估過程，起初並未注意對照組有許多兒童進入了公立學前教育中心。在將這個因素納入考量之前，真正的效益成本比被低估了二分之一。
4. 決定要測量那些效果
行政資料的優勢在於取得費用很低或免費，而你通常可以為實驗裡的每個人取得這些資料。問卷調查可以量身訂做，但是如果只有十分之一的受訪者回應你的問卷，那就得要先有十倍人數的樣本才行，有些問卷調查會進行反復後續追蹤，有虛則會付錢請人回應(一家連鎖商店的實驗發現，在問卷信封裡放一美元能讓回應率從八%翻倍到十六%)。當你評估介入手段的影響時，要把焦點放在隨機指派。如果有個對照組成員設法得到了實驗組的待遇，你仍然必須按照他的原始組別來分析資料。
5.選擇要運用隨機方法的層級
一種教育介入守法的隨機試驗可以在不同學生、不同班級或不同學校之間進行。適當的做法取決於實際事務的考量、倫理面的考量，以及該政策從實驗組外溢到對照組的可能情形。在一些早期的愛滋病藥物試驗中，實驗駔與對照組的患者會共用他們的藥物—這種反應可以理解，因為在那個時候，罹患愛滋病形同被判死刑。每個人都只有用到一半劑量的真藥，所以試驗結果毫無用處，最後那些藥物拖了比較久才得到核可。如果那個試驗是在多家醫院進行，需要的樣本會比較大，然而試驗成功的可能性也比較高。
6.確保你的研究樣本夠大
如果你預期某種介入手段會再實驗組與對照組之間造成極大的差異，使用小樣本應該就夠了。回想一下3P正向育兒計畫，它的影響很大，在僅僅包含五十一個原住民家庭的樣本中產生了顯著的結果。但是如果你要測試的計畫只會造成細微的變化就需要有較大的樣本。別忘記估計電視廣告影響力的問題：單一廣告對整體購買行為的影響極其微小，就算進行隨機試驗也難以察覺。如果你想知道自己大概需要多大的實驗樣本，在網路上搜尋「檢定力計算」(Power
calculation)就能找到有用的線上計算器。如果你預設的樣本不夠大，可以考慮和其他城市或國家的研究者合作。這樣不僅會擴大樣本，還會讓大眾更傾向相信你的研究發現在那裡都很準確，而不是只有在特定的環境。
7. 登記你的試驗，並且通過倫理審查
如果你想要發表研究結果，那就在合適的醫學或社會科學網站登記你的試驗。可以的話就取得倫理審查通過證明。如果你的介入手段可能會傷害到參與者，倫理委員也許會要求你成立一個資料及安全性監測委員會，在實驗進行時加以監督。雖然倫理審查可能很耗時，但是萬一實驗出了差錯，就能提供保險。二0一四年，一項社會科學實驗發送傳單給十萬名蒙大拿州選民，傳單上列出該州最高法官候選人的意識形態立場。由於傳單上面印有州徽，這個研究被判定違法蒙大拿州的選舉法。如果研究者先讓大學內部的審查委員會核可這項實驗，也許就能轉移那些責難，但他們並沒有那麼做。
8. 確定關鍵人員瞭解並支持隨機
確保每一個牽涉到的人都瞭解做實驗的原因，這一點至關重要。督導人員需要對資金提供者或管理者說明隨機試驗的內容。個案輔導員可能必須按照隨機方法的指示而拒絕需要幫助的人，如果這些人不遵守隨機方法的指示行事，你的研究結果便很有可能是無用的垃圾。澳洲行為經濟學團隊(Behavioural
Economics Team of Australia，簡稱BETA)主任希斯考斯表示：「我的試驗所付出的努力中，大概有七五%是用在發展夥伴關係以及讓每個人從一開始就進入狀況。」壞的專家會試圖透過濫用職權與使用艱澀的專業術語來草草應付。好的專家則會花時間對第一線人員說明他們希望從隨機試驗中得知什麼、為什麼隨機試驗對輔導對象和組織有幫助，以及這項試驗為什麼符合倫理。
9. 用真正隨機的處理方法為樣本分組
要分配實驗組與對照組的成員，你可以擲硬幣、從帽子裡抽籤，或者利用電腦試算軟體產生亂數的功能。如果你要把一份名單分成兩半，記得先確認名單是隨機排列出來的。如果你掌握了參與者的一些資料，就可以根據可見的特徵來平衡實驗組與對照組，藉此提高統計精度。一九三0年代有一項關於指導計畫的評估，就是根據年齡、家庭背景與有違法傾向的行為，把類似的問題青少年配成對。然後研究者擲硬幣決定每一對當中的實驗組與對者組成員。
10. 如果可以的話，先進行小規模的先導研究
一如跑者會在比賽開始前檢討配速，事先小規模地檢查實驗的完善程度會很有幫助。此舉的木雕並不是要產生可用的結果，而是從隨機分派、執行或問卷當中找出意料之外的問題。誠如卡蘭與艾波(Jacob
Apple)所說，你也許會想要直接開始整個實驗，但是「若要與先檢視使用率和找出執行過程中可能出現的偶發問題，前測或小規模先導研究是最好的方法」。修正缺失，然後你就可以進行自己的隨機試驗了!
|
