ランダム化対照試行がうまくいかない時

という事例を少し前にEconomic Logicが紹介していたことを、デュフロがオバマ政権のグローバル開発委員会入りするというニュースを目にして思い出した。
以下はEconomic Logicianによる前説。

Randomized experiments are all the rage in some circles, for example labor economics and especially development economics. The principle is simple: create some intervention in some market, randomly draw a group of economic agents that has access to the intervention, leave the others out, compare outcomes. In all that, you hope the behavior of the non-participants is not affected by the presence of the program to the others. This can be a heroic assumption, for example because market prices may respond for everyone to the intervention.
(拙訳)
ランダム化対照試行は、例えば労働経済学や特に開発経済学といった分野で大流行となっている。その原理は単純だ。どこかの市場に介入し、ランダムに選んだ経済主体の一団がその介入を利用できるようにし、それ以外の主体はそのままとし、結果を比較する、というものだ。その実験の際に期待されているのは、非参加者の行動が、彼ら以外の人間に適用されたプログラムの存在に影響されない、ということだ。これは大胆な仮定かもしれない。というのは、例えば市場価格は介入に反応して皆に影響するだろうからだ。


以下は該当論文(「Estimating Equilibrium Effects of Job Search Assistance」、著者はPieter Gautier, Paul Muller, Bas van der Klaauw, Michael Rosholm and Michael Svarer)の要旨。

Randomized experiments provide policy relevant treatment effects if there are no spillovers between participants and nonparticipants. We show that this assumption is violated for a Danish activation program for unemployed workers. Using a difference-in-difference model we show that the nonparticipants in the experiment regions find jobs slower after the introduction of the activation program (relative to workers in other regions). We then estimate an equilibrium search model. This model shows that a large scale role out*1 of the activation program decreases welfare, while a standard partial microeconometric cost-benefit analysis would conclude the opposite.
(拙訳)
ランダム化対照試行では、参加者と非参加者の間に波及効果が生じなければ、政策関連措置のもたらす効果が得られる。本稿では、デンマークの失業者の雇用促進計画ではその前提が破られたことを示す。差の差モデルを用いて、実験対象地域の非参加者は、促進計画の導入後に仕事を見つけるのが(他の地域の労働者に比べ)遅くなったことが示される。また、均衡サーチモデルを推計し、標準的な部分ミクロ計量経済モデルの費用便益分析から得られる結論とは逆に、大規模な雇用促進計画の展開が厚生を低下させることを示す。


具体的には、渋滞効果(congestion effect)が生じた、ということのようである。

*1:原文ママ。ここではrolloutの誤記と見做した。