出版バイアスの特定と修正

というNBER論文をFrancis Dieboldが少し前のエントリで紹介している(H/T 昨日リンクしたエントリungated版と補足資料スライド資料)。論文の原題は「Identification of and Correction for Publication Bias」で、著者はIsaiah Andrews(MIT)、Maximilian Kasy(ハーバード大)。
以下はDieboldの紹介。

The term "file drawer problem" was coined long ago. It refers to the bias in published empirical studies toward "large", or "significant", or "good" estimates. That is, "small"/"insignificant"/"bad" estimates remain unpublished, in file drawers (or, in modern times, on hard drives). Correcting the bias is a tough nut to crack, since little is known about the nature or number of unpublished studies. For the latest, together with references to the relevant earlier literature, see the interesting new NBER working paper, IDENTIFICATION OF AND CORRECTION FOR PUBLICATION BIAS, by Isaiah AndrewsMaximilian Kasy.
(拙訳)
「引き出し問題」*1という用語はかなり以前に作られた。これは、出版された実証研究が「大きい」ないし「有意」ないし「良い」推計に偏っていることを指す。即ち、「小さい」/「非有意」/「悪い」推計は引き出し(もしくは、現代においてはハードドライブ)にしまわれて出版されないままとなる、ということである。出版されない研究の性格や数についてはほとんど知られていないため、このバイアスを修正するのは難問である。関連する以前の研究へのリファレンス付きのこの件の最新の研究については、Isaiah AndrewsとMaximilian Kasyの興味深い新たなNBERワーキングペーパー「出版バイアスの特定と修正」を参照されたい。


以下は論文の要旨。

Some empirical results are more likely to be published than others. Such selective publication leads to biased estimators and distorted inference. This paper proposes two approaches for identifying the conditional probability of publication as a function of a study's results, the first based on systematic replication studies and the second based on meta-studies. For known conditional publication probabilities, we propose median-unbiased estimators and associated confidence sets that correct for selective publication. We apply our methods to recent large-scale replication studies in experimental economics and psychology, and to meta-studies of the effects of minimum wages and de-worming programs.
(拙訳)
実証結果の中には他よりも出版されやすいものがある。そうした選択的な出版は、偏った推計量と歪んだ推定につながる。本稿は、研究結果の関数として出版の条件付き確率を特定する2つの手法を提示する。一つは体系的な再現性の研究に基づいたものであり、もう一つはメタ研究に基づいたものである。既知の条件付き出版確率について我々は、選択的な出版を修正する中央値不偏推定量と、それに対応する信頼区間を提示する。我々は、その手法を最近の大規模な実験経済学と心理学の再現性研究、および、最低賃金と駆虫プログラムの効果のメタ研究に適用した。

*1:出版バイアス - Wikipediaでは「お蔵入り問題」とも訳されている。