減衰する真実

というニューヨーカー記事アンドリュー・ゲルマンのブログで紹介されていた(原題は「The Truth Wears Off」;日本語ブログではこちらブログで紹介されている)。

記事では、以前の実証研究では確かに存在すると思われた効果が、その後に再度同じ実証研究を実施してみるとそれほど顕著に現われなくなり、場合によっては消失してしまう、という各種の科学研究において見られる現象を取り上げている。


要旨には以下のように書かれている。

Before the effectiveness of a drug can be confirmed, it must be tested again and again. The test of replicability, as it’s known, is the foundation of modern research. It’s a safeguard for the creep of subjectivity. But now all sorts of well-established, multiply confirmed findings have started to look increasingly uncertain. It’s as if our facts are losing their truth. This phenomenon doesn’t yet have an official name, but it’s occurring across a wide range of fields, from psychology to ecology.
(拙訳)
医薬品の効能が確認されるまでには、何度も試験が繰り返されねばならない。再現性の試験として知られるものは、現代の研究の基礎をなしており、主観性が忍び込みことに対する防波堤となっている。しかし今や、完全に確立されて何度も確認されたあらゆる種類の発見が、段々と不確実なものに見えてくるようになった。恰も我々が事実だと思っていたものが、その真実性を失っているかのようだ。この現象にはまだ公式な名称は無いが、心理学から生態学に至る幅広い分野で起こっている。


なお、上記のニューヨーカーのリンクでは契約者以外は要旨しか読めないが、記事を書いたJonah LehrerがWiredに転載した部分では、以下のように記述されている。

In 2001, Michael Jennions, a biologist at the Australian National University, set out to analyze “temporal trends” across a wide range of subjects in ecology and evolutionary biology. He looked at hundreds of papers and forty-four meta-analyses (that is, statistical syntheses of related studies), and discovered a consistent decline effect over time, as many of the theories seemed to fade into irrelevance. In fact, even when numerous variables were controlled for — Jennions knew, for instance, that the same author might publish several critical papers, which could distort his analysis—there was still a significant decrease in the validity of the hypothesis, often within a year of publication. Jennions admits that his findings are troubling, but expresses a reluctance to talk about them publicly. “This is a very sensitive issue for scientists,” he says. “You know, we’re supposed to be dealing with hard facts, the stuff that’s supposed to stand the test of time. But when you see these trends you become a little more skeptical of things.”
(拙訳)
2001年に、オーストラリア国立大学生物学者であるMichael Jennionsは、生態学と進化生物学の様々なテーマを対象に、「一時的な傾向」を分析することを思い立った。彼は何百という論文と44の総括分析(=関連研究の統計的な総合分析)に目を通し、時間の経過と共に効果が減衰するという一貫した傾向を発見した。多くの理論は、減衰の結果として効果を消失してしまったように見えた。さらに、各種の変数をコントロールしてみても――例えば、同一の著者が批判論文を幾つも出したら分析結果を歪めてしまうことはJennionsも分かっていた――やはり仮説の実効性の顕著な減衰は見られ、それも論文掲載の1年以内に起こることが多かった。Jennionsは自分の発見が物議を醸すものであることを認識しており、それについて公けに話すことに躊躇いを覚えていた。「これは科学者にとってとても微妙な問題なのです」と彼は言う。「我々は時の経過に耐え得る確かな事実を扱っているものと思われているわけですから。しかしこうした傾向を見ると、少し疑いを持つようになります。」


要旨ならびにWired記事に記述されている実例は以下の通り。

  • 1990年代初めに販売を開始した非定型ないし第二世代の抗精神薬の治療効果が一貫して低下している、ということが、2007年9月18日のブリュッセルのホテルで開かれた神経科学者、精神科医、医薬品会社重役の会合で報告された。1990年代初めの最初の治験結果に比べ、最近の研究では効果は半分以下に落ちているという。
  • Jonathan Schoolerがワシントン大学の院生時代に発見した言語陰蔽効果という現象を論文にまとめて学会誌に投稿しようとしたところ、以前の発見を再現することが難しいことに気付いた。
  • Schoolerがジョゼフ・バンクス・ラインの超感覚的知覚に関する実験の追試を2004年に試みたところ、減衰効果が見られた。その減衰効果は平均回帰で説明できるように思われたが、ただ、その減衰の一様性は統計学の法則を破っているように見えた。
  • 1991年にデンマーク人の動物学者Anders Møllerがスウェーデンのウプサラ大学で研究していた時、雌のツバメは羽の対称性が高い雄を好むという発見をした。その論文はネイチャーに掲載され、続く3年間に、対称性と雌による選択との関係を研究した10本の論文のうち、9本が有意な関係を報告した。ツバメだけではなく、ショウジョウバエでも同様の関係が報告されたほか、人間についても同様の研究がなされ、女性は左右対称性の高い男性を好む、という報告がなされた。しかし、1994年に同様の研究をした14本の論文では、8本のみが有意な関係を見出した。翌1995年には、8本中4本であった。1998年までにはさらに12本の研究があったが、有意性を見出したのはそのうちの3分の1だけであった。しかも、有意な関係を見出した論文においても、その効果は減衰し続けていた。1992年と1997年の間に、効果は平均して8割減少した。


この減衰傾向の説明としては、前述のMichael Jennionsは、論文を掲載する側のバイアスを疑っている*1。一方、生物学者のRichard Palmerは、研究者が実証結果をまとめる際に、筋が通るように微妙に結果を選別しているのではないか、と推測している。また、再現性の試験について1990年代末にJohn Crabbeが研究したところによると、異常な科学データの多くはノイズに過ぎないという。つまり、問題の減衰傾向は真実の減衰などではなく、単なる幻想の減衰に過ぎないかもしれない、というわけだ。


株式の研究でも、理論に合わないアノマリー現象が時々報告されるが、その後にはそのアノマリーが見られなくなる、という話を良く聞く*2。その理由としては、当該のアノマリー株式投資家に広く知られるようになったため、それを利用した裁定取引を皆が狙うようになり、その結果として消滅した、という説明が良くなされるが、単に上述のような一時的な現象ないしノイズだった可能性も高いのではないかと思われる。

*1:[12/24追記]匿名希望さんのコメントを受けて知ったが、このpublication biasは日本でも「出版バイアス」として知られており、wikipediaにもエントリがあるとの由。

*2:[12/24追記]エントリを書いていた段階では見落としていたが、こちらで翻訳されているサムナーのブログエントリのパート4の2にまさにその件に関する記述がある(山形さんのコメントも参照)。