p値ハッキングと出版バイアスの解明

というNBER論文が上がっているungated版)。原題は「Unpacking P-Hacking and Publication Bias」で、著者はAbel Brodeur(オタワ大)、Scott E. Carrell(テキサス大オースティン校)、David N. Figlio(ロチェスター大)、Lester R. Lusher(ピッツバーグ大)。
以下はその要旨。

We use unique data from journal submissions to identify and unpack publication bias and p-hacking. We find that initial submissions display significant bunching, suggesting the distribution among published statistics cannot be fully attributed to a publication bias in peer review. Desk-rejected manuscripts display greater heaping than those sent for review i.e. marginally significant results are more likely to be desk rejected. Reviewer recommendations, in contrast, are positively associated with statistical significance. Overall, the peer review process has little effect on the distribution of test statistics. Lastly, we track rejected papers and present evidence that the prevalence of publication biases is perhaps not as prominent as feared.
(拙訳)
我々は、独自の学術誌投稿データを用いて、出版バイアスとp値ハッキングを解明した。当初の提出版において有意な集中があることを我々は見い出した。このことは、掲載された統計の分布をすべてピアレビューの出版バイアスのせいにはできないことを示している。編集デスクが却下した原稿にはレビューに回されたものよりも多くの集中が見られた。即ち、辛うじて有意な結果は編集デスクの段階で却下される可能性が高い。対照的に、レビュアーの推奨は統計的有意性と正の関係があった。全体的に、ピアレビューのプロセスは検定統計量の分布にあまり影響していない。我々はまた、却下された論文を追跡し、出版バイアスの蔓延はおそらく恐れられたほど顕著ではないという証拠を提示する。