巻頭論文は本当に質が高いのか?

という点について調べた研究結果がvoxeuで報告されているEconomist's View経由)*1


それによると、The European Economic Review (EER)は、一時期(1975〜1997年)、論文の掲載順を最初の著者のアルファベット順にしていたとの由。それを利用して、巻頭論文が編集者が吟味して決めた場合と、ランダム(=アルファベット順)に決めた場合とで、該当論文の被引用数に差が出るかどうかを調べたとのことである。


その結果、ランダムの場合の巻頭論文は平均に比べ1.9回多く引用されたのに対し、編集者が決定した場合は2.8回*2多く引用されたという。その差は大きなものではないが、有意だったとのことである。これから、巻頭論文の被引用数の増加分のうち3分の2(≒1.9/2.8)は巻頭にあること自体の効果であり、残りの3分の1が論文自体の質の高さによるもの(=編集者の目利きがきちんとそれを見抜いた効果)、と分析では結論付けている。


また、分析では、比較対象として、掲載順がアルファベット順になったことの無いAmerican Economic Review (AER)も調べたという。AERとEERでは以下のような違いがあったとの由。

  • AERの巻頭論文効果はEERよりも大きかったが、その差は大きくはない(AERが5に対しEERが2)*3
  • AERでは巻頭論文と2番目の論文の被引用数には差が無かったが、EERでは差が見られた。
    • そもそも1985〜1997年において、AERの巻頭から8番目の論文はすべて引用され、9番目と10番目の論文で引用されなかったのはそれぞれ2%と4%だったのに対し、EERでは掲載順に関わらず15%の論文がまったく引用されなかった。
  • 長い論文の方が短い論文よりも被引用回数が高く、ノートの被引用回数はさらに少ないという傾向が全般に見られたが、AERでその傾向が顕著だった。
  • AERでは最近の論文ほど(累積)被引用回数は少ないが、EERではそうした傾向は見られなかった。
    • 理由の一つとして考えられるのは、EERでは最近の論文の質が平均的に向上したことが、期間の短さを補ったのではないか、ということ。


なお、経済学の共著論文では名前が通常アルファベット順に記されることの影響も考慮し、論文の著者数も分析の変数に含めたところ、AERとEERの編集者決定版ではその変数は有意にプラスになったが、EERのアルファベット順版では非有意だったとのことである。また、有意になった場合でも、巻頭論文効果を示す変数には影響を及ぼさなかったとの由。

*1:ここでWPが読める。該当論文の著者はTom Coupé, Victor Ginsburgh, Abdul Nouryの3人で、うちGinsburghが今回のvoxeu記事を書いている。ちなみに該当論文はOxford Economic Papersの61(1)号の巻頭を飾ったとのことで、Ginsburghはそれは編集者一流のジョークだったのかと訝しんでいる。

*2:WPでは3.1回となっているので、その後下方修正された模様。

*3:WPによると、そもそもの平均被引用回数がAER=23に対しEER=5とのこと。