科学の信頼性の危機を軽減する経済的方法、ならびに公共財ゲームへの適用

という論文をDigitopolyでJoshua Gansが紹介している。原題は「An Economic Approach to Alleviate the Crises of Confidence in Science: With An Application to the Public Goods Game」で、著者はLuigi Butera、John A. List(いずれもシカゴ大)。
以下はその要旨。

Novel empirical insights by their very nature tend to be unanticipated, and in some cases at odds with the current state of knowledge on the topic. The mechanics of statistical inference suggest that such initial findings, even when robust and statistically significant within the study, should not appreciably move priors about the phenomenon under investigation. Yet, a few well-conceived independent replications dramatically improve the reliability of novel findings. Nevertheless, the incentives to replicate are seldom in place in the sciences, especially within the social sciences. We propose a simple incentive-compatible mechanism to promote replications, and use experimental economics to highlight our approach. We begin by reporting results from an experiment in which we investigate how cooperation in allocation games is affected by the presence of Knightian uncertainty (ambiguity), a pervasive and yet unexplored characteristic of most public goods. Unexpectedly, we find that adding uncertainty enhances cooperation. This surprising result serves as a test case for our mechanism: instead of sending this paper to a peer-reviewed journal, we make it available online as a working paper, but we commit never to submit it to a journal for publication. We instead offered co-authorship for a second, yet to be written, paper to other scholars willing to independently replicate our study. That second paper will reference this working paper, will include all replications, and will be submitted to a peer-reviewed journal for publication. Our mechanism allows mutually-beneficial gains from trade between the original investigators and other scholars, alleviates the publication bias problem that often surrounds novel experimental results, and accelerates the advancement of economic science by leveraging the mechanics of statistical inference.
(拙訳)
実証における新規の洞察は、その性格からして予想外のものとなりやすく、対象トピックについての現状の知識と相容れないこともある。そのような初期の発見は、当該の研究においては頑健で統計的に有意だったとしても、調査対象となった事象の事前分布を目に見えて動かすことはないだろう。だが、きちんと計画された独立した再現結果が幾つかあれば、新規の発見の信頼性は劇的に改善する。にもかかわらず、再現しようというインセンティブは科学においては乏しく、特に社会科学においてそうである。我々は、再現を促す誘因両立性を持つ単純な仕組みを提案し、実験経済学を利用して我々の手法に焦点を当てる。我々はまず、配分ゲームにおける協力が、大半の公共財の普遍的ながら研究されていない特性であるナイトの不確実性(曖昧性)の存在によってどのように影響されるかを調査した実験結果を報告する。予想外にも、我々は、不確実性の増加によって協力関係が強化されることを見い出した。この驚くべき結果は、我々の提唱する仕組みにおけるテストケースとなる。この論文を査読付きの学術誌に送る代わりに、我々はこれをワーキングペーパーとしてオンラインで利用可能にしつつ、出版のために学術誌に提出することは決してしない、と約束する。その代わり我々は、我々の研究を独立に再現することに同意した他の学者に対し、これから執筆される第二の論文の共著の権利を提供する。第二の論文は本ワーキングペーパーを参照し、すべての再現実験を収録し、出版を目的として査読付きの学術誌に提出される。我々の仕組みは、最初の調査者と他の学者との間の取引から互恵的な利益をもたらすことを可能にし、新規の実証結果にしばしば付きまとう出版バイアス問題を軽減し、統計的推定の力学にテコ入れすることにより経済科学の進歩を促進する。

Gansは、ナイトの不確実性が協力関係を強める、という実証結果と、その結果についての再現実験を募る著者たちのやり方の双方に驚きを示しつつも、再現実験をしたとしても、この発見の栄誉の大部分は再現者の手ではなくやはりオリジナルの発見者の手に渡るので、再現実験のインセンティブはそれほど高くないのでは、という疑問を呈している。