というNBER論文をアンガス・ディートンらが書いている（全文も公開されている）。原題は「Understanding and Misunderstanding Randomized Controlled Trials」で、著者はAngus Deaton（プリンストン大）、Nancy Cartwright（ダラム大）。
以下はその要旨。
The use of RCTs is spreading in economics. They are seen as desirable for discovery and for generating evidence for policy. Yet some of the enthusiasm for RCTs comes from misunderstandings: that randomization provides a fair test by equalizing everything but the treatment and so allows a precise estimate of the treatment alone; that randomization is required to solve selection problems; that lack of blinding does little to compromise inference; and that statistical inference in RCTs is straightforward, because it requires only the comparison of two means. RCTs do indeed require minimal assumptions and prior knowledge, an advantage when persuading distrustful audiences, but a crucial disadvantage for cumulative scientific progress, where randomization undermines precision. It is hard to use them outside of their original context. Yet, once they are seen as part of a cumulative program, they can play a role in building general knowledge and useful predictions, provided they are combined with other methods, including conceptual and theoretical development, to discover not “what works,” but why things work. Unless we are prepared to make assumptions, and to stand on what we know, making statements that will be incredible to some, all the credibility of RCTs is for naught.
（拙訳）
ランダム化比較試験の利用は経済学で広まっている。その手法は、発見、および政策のための証拠をもたらす上で望ましいものとされている。しかしランダム化比較試験への熱意の中には、誤解に基づくものもある。例えば、ランダム化は治療効果以外をすべて均等化するので偏りの無い試験を提供し、治療効果だけを正確に評価することができるとか、ランダム化は選択問題の解決のために必要とされるとか、盲検をしなくても推定への悪影響はほとんど無いとか、ランダム化比較試験の統計的推定は、2つの平均の比較だけしか必要としないので、直截的なものである、といった誤解である。ランダム化比較試験では確かに仮定と事前の知識は最小限しか必要とせず、そのことは疑り深い聴衆を説得する際には利点となるが、ランダム化によって正確性が損なわれるため、科学的進歩を積み重ねていく上では重大な欠点となる。ランダム化比較試験を元々の文脈を離れて使用するのは困難である。ただし、一連の計画の一部として考えた場合には、「何が機能するか」ではなくなぜ物事が機能するかを見い出すことを目的として概念的および理論的な展開といった他の手法と組み合わせるならば、一般的な知識と有用な予測の構築に役立つ。仮定を立て、知っていることに立脚し、一部の人に受け入れられないようなことを言うつもりが無いならば、ランダム化比較試験への信頼は意味を持たない。
