CERNが光速を超えるニュートリノを観測したという今話題の発見に事寄せて、Econospeakでピーター・ドーマンが経済学者と物理学者の統計的過誤への態度の違いについて論じている。
以下はその概要。
- 今回のOpera(Oscillation Project with Emulsion-Tracking Apparatus)チームの発見について、プロジェクトに関わっていたメンバーの中には自分の名前を出さないように要請した者もいたという。
- その理由は、これだけ常識を覆す発見だと、誤りである可能性もまた大きいからである。測定誤差が12メートルあれば、結果は引っ繰り返る。
- 後に誤りと判明した発見に自分の名を連ねた物理学者は、経歴に回復不能に近い傷を負う。以前説明したように、自然科学者は第一種過誤(偽陽性)を非常に深刻に受け止めるのだ。反面、第二種過誤(偽陰性)はそれほど問題にならない。
- 一方、経済学者が出版した論文の間違いを指摘された場合の反応は、指摘した人に感謝を表して済ますか、あるいは元の結果を正当化する研究を重ねるか、である。いずれにせよ、間違えたこと自体は大ごととはならない。トップクラスの経済学者もしょっちゅう(もしくは常に)間違えるが、特にそれで学界の地位が後退することも無い。
- その結果、物理学は時とともに進歩を重ね、世界の真の姿に近付いていくが、経済学は洞察と誤謬を共に積み重ねていく。
ちなみに上記でリンクしているドーマンの以前のエントリでは、以下のように、経済学についてさらに辛辣なことが書かれている。
The long form of “is consistent with” is “we should be more willing to accept this theory because it could be explaining the data”. The short form of this long form is “rejecting this theory risks Type II error”. Remarkably, most economists think this approach is what makes economics scientific.
If you take Type I error seriously, you have to ask, does the evidence preclude any other explanation? Am I at risk of accepting a false explanation because there is another which is actually correct? In practical terms, this means two things: taking all plausible explanations into consideration and not just the one you want to support, and searching aggressively for all the elements in your data that might contradict your pet theory. This second admonition includes examining subsamples whenever feasible, for instance.
Because economics, as it is practiced, is more concerned about Type II than Type I error, it propagates and defends a vast array of dubious propositions, and there is little methodological resistance.
(拙訳)
(経済学の論文で良く使われる)「整合的」という文言の長文表現は、「この理論はデータを説明できるかもしれないので、我々はこの理論をもっと積極的に受け入れるべきである」となる。この長文表現の短文表現は、「この理論を棄却すると第二種の過誤を犯す危険がある」となる。驚くべきことに、ほとんどの経済学者はこの手法が経済学を科学的たらしめていると考えている。
もし第一種の過誤を深刻に捉えるならば、実証結果が他の理論を排除しているかどうかを問うべきであろう。本当は別の正しい理論が存在しているのに、誤った理論を受け入れていないかどうかを自らに問うべきなのだ。実務上は、これは以下の2つの手続きを意味する。即ち、自分が支持したいものだけではなく可能性のあるすべての理論を検討すること、および、自分の支持したい理論と矛盾する可能性のある要素がデータに無いかどうか虱潰しに調べること、である。後者の手続きには、例えば可能な限り副標本を調べることが含まれる。
実際の経済学は第一種よりも第二種の過誤の方に重点を置いているので、ありとあらゆる疑わしい主張を広め擁護している。そして、それを阻止する方法論はほとんど存在しない。