スタンフォードの政治経済学のPhD CandidateであるNicholas EubankがThe Political Methodologistに寄せたブログ記事*1によると、2005年に創刊されたQuarterly Journal of Political Science (QJPS)では、投稿者に、論文の結果を出力するのに用いたデータとコードの提出を義務付けているという。そして論文の掲載前に、QJPS内部でそのコードを実際に走らせて追試（レビュー）をしているとの由。
以下は記事の一節。
Given that the QJPS review is relatively basic, however, one might ask whether it is even worth the considerable time the QJPS invests. Experience has shown the answer is an unambiguous “yes.” Of the 24 empirical papers subject to in-house replication review since September 2012, only 4 packages required no modifications.
Of the remaining 20 papers, 13 had code that would not execute without errors, 8 failed to include code for results that appeared in the paper, and 7 failed to include installation directions for software dependencies.
13 (54 percent) had results in the paper that differed from those generated by the author’s own code. Some of these issues were relatively small — likely arising from rounding errors during transcription — but in other cases they involved incorrectly signed or mis-labeled regression coefficients, large errors in observation counts, and incorrect summary statistics.
（拙訳）
QJPSのレビューが比較的基本的なものであることに鑑みると、QJPSがそれに費やしている少なからぬ時間に相当する価値がそもそもその作業にあるのか、という疑問を抱く向きもあるかもしれない。これまでの経験からすると、その答えは間違いなく「イエス」だ。2012年9月以降に内部の再現レビューの対象となった24本の実証論文のうち、修正がまったく必要無かったのは4本のみであった。
残りの20論文のうち、13本は実行時にエラーが発生し、8本は論文の結果を再現するコードが入っておらず、7本はソフトウェアの依存関係に関する導入指示書が入っていなかった。
13本（54パーセント）は、論文の結果が著者自身のコードから生成されるものと違っていた。複写時の丸め誤差に起因すると思われるような比較的大したことのない問題もあったが、それ以外のケースでは符号が間違っていたり、回帰係数の変数名が誤っていたり、サンプル数が大きく違っていたり、要約統計量が誤っていたりした。
*1:Dave Giles経由のChris Blattman経由。
