ランダム化比較試験主義者が(引き続き)支配すべきか?

というNBER論文が上がっている2018時点のWP)。原題は「Should the Randomistas (Continue to) Rule?」で、著者はジョージタウン大のMartin Ravallion。
以下はその要旨。

The rising popularity of randomized controlled trials (RCTs) in development applications has come with continuing debates about the merits of this approach. The paper takes stock of the issues. It argues that an unconditional preference for RCTs is questionable on three main counts. First, the case for such a preference is unclear on a priori grounds. For example, with a given budget, even a biased observational study can come closer to the truth than a costly RCT. Second, the ethical objections to RCTs have not been properly addressed by advocates. Third, there is a risk of distorting the evidence-base for informing policymaking, given that an insistence on RCTs generates selection bias in what gets evaluated. Going forward, pressing knowledge gaps should drive the questions asked and how they are answered, not the methodological preferences of some researchers. The gold standard is the best method for the question at hand.
(拙訳)
ランダム化比較試験(RCT)を開発経済学に応用することがますます人気を集めているが、それとともに、この手法の長所に関する議論が続いている。本稿はその問題を検討し、RCTを無条件に選好することは3つの主要な点から問題含みである、と論じる。第一に、そうした選好の根拠は先験的には明らかではない。例えば、所与の予算においては、観測データを用いたバイアスのある研究でさえ、費用の掛かるRCTよりも真実に近付くことができる。第二に、RCTへの倫理的な異議はその主唱者たちによって適切に対処されていない。第三に、RCTへの固執が何を評価するかについての選択バイアスをもたらすことに鑑みると、政策策定に情報を与える証拠基盤を歪めるリスクがある。さらに言えば、投げ掛けられる疑問とその回答方法を決めるのは喫緊の知識ギャップ*1であって、ある研究者の手法の選好ではない。根底となる基準は、抱えている疑問に対する最善の手法なのである。

*1:ungated版の本文では「To help antipoverty policymaking, researchers should ideally be filling the gaps between what we know about the effectiveness of policies and what policymakers need to know.(貧困対策の政策策定を助けるために研究者は、理想的には、政策の有効性について分かっていることと政策策定者が知るべきこととのギャップを埋めるべきである。)」と書かれている。