アンドリューゲルマンブログで、ゲルマンの共同ブロガーのBob CarpenterがあるScientific American記事に対し、極めて感情的な反発を示した（Economist's View経由）。
それによると、Jonathan Carterという地球物理学者が、単純な油井モデルでデータを生成し、そのデータからカリブレーションで元のモデルのパラメータを推定しようとしても、間違える可能性が高い、ということを示した。それをScientific American記事のライター（David H. Freedman）が経済学モデル（特にファイナンスのリスクモデル）全般の問題に結び付けたことが、Carpenterをいたく刺激したようである。かつては役に立つ記事が数多くあったScientific Americanが、今や冗談誌オニオンと同レベルに堕してしまった、とまで痛罵している。
Carpenterのエントリのあるコメントでは、Scientific American記事の元ネタとなったと思しきCarterの共著論文が示されている。その概要を、素人なりに乱暴にまとめてみると、以下の通り。
次の図は、Carterがモデル化した油井の模式図である。
この油井は、真ん中の断層の縦方向のずれh、質の悪い砂の浸透度kp、良質の砂の浸透度kgという3つのパラメータで表わされる。ここではh = 10.4、kp = 1.31、kg = 131.7を真の値として設定する。
そうして設定したモデルからまず36ヶ月分のデータを生成する。然る後に、遺伝的アルゴリズムを用いたカリブレーションでパラメータの推定を行う。また、その推定モデルでアウト・オブ・サンプルにおける予測を行い（予測期間＝4〜10年後）、その予測の精度を検証する。
次の図は、モデル誤差が無い場合の推計結果である（左が推計期間、右が予測期間）。
左図の推計期間では、正しいパラメータ値（h〜10）のところに最大のピークが立っている。しかしそれ以外のところにもピークが立っている。即ち、全域最適解のほかに局所解がある。全域最適解の吸引領域は比較的小さいため、局所解を誤って最適解としてしまう可能性がある。然るに、右図の予測期間において有効な予測を行っているのは全域最適解だけである。
これにモデル誤差を導入すると、以下のようになる（モデル誤差は、地層の特性値に最大1%の変動を生成することによって導入している）。
ここでは、左図において、もはや正しいパラメータ値のところに最大のピークが立っていない。即ち、パラメータの真の値が全域最適解となっておらず、h〜32に全域最適解が現れている。しかし、右図の予測期間を見ると、その全域最適解はまったく予測力を持っていない。予測期間で予測力を持つモデルは、すべて真のパラメータとは異なっている（h〜10でピークが立っているが、kpとkgが真の値と異なっている）。
なお、Carter自身は、この結果を別に経済学とは結び付けていない。ただ、これだけ単純なモデルで起きるのだから、どのモデルのカリブレーションでも起きる問題だろう、とコメントしている*1。
Carpenterの反発は、そんなことは経済学者は疾うに知っている、ということにあるかと思われる。これはまさに、
彼らは、身内どうしでは、何の抵抗もなくその分野の欠点について不満を述べていた。…だが部外者の集団から同じことを聞こうなどと、だれが思おうか。
経済学者vs物理学者・続き - himaginaryの日記
という反応の典型例に思われる。
また、カリブレーションの欠点を巡る議論、という点では、最近のクルーグマンによる批判とそれに対するWilliamsonの反発という構図と共通している、とも言えそうである。
