モデルとしての事前分布

ノアピニオン氏が統計におけるベイジアンと頻度主義の対立について論じたところ、ベイズ統計学の権威であるアンドリュー・ゲルマンが反応した。以下はそこからの抜粋。

First, a Bayesian doesn’t need to stick with his or her priors, any more than any scientist needs to stick with his or her model. It’s fine—indeed, recommended—to abandon or alter a model that produces implications that don’t make sense (see my paper with Shalizi for a wordy discussion of this point). Second, the parallelism between “prior” and “data” isn’t quite appropriate. You need a model to link your data to your parameters of interest. It’s a common (and unfortunate) practice in statistics to forget about this model, but of course it could be wrong too. Economists know about this, they do lots of specification checks.
...
I very much respect the idea of data reduction and summarizing the information from any particular study without prejudice, but if I have to make a decision or a scientific inference, then I see no reason to rely on whatever small dataset happens to be in my viewer right now.
In that sense, I think it would be helpful to separate “the information in a dataset” from “one’s best inference after having seen the data.” If people want to give pure data summaries with no prior, that’s fine. But when they jump to making generalizable statements about the world, I don’t see it.
...
To put it another way: to the non-Bayesian, a Bayesian is someone who pollutes clean data with a subjective prior distribution. But, to the Bayesian, a classical statistician is someone who arbitrarily partitions all the available information into something called “the data” which can be analyzed and something called “prior information” which is off limits. Again, I see that this can be a useful principle for creating data summaries (each polling organization can report its own numbers based on its own data) but it doesn’t make a lot of sense to me if the goal is decision making or scientific inference.
(拙訳)
第一に、ベイジアンは自分の事前分布に固執する必要は無い。それは、科学者が自分のモデルに固執する必要は無いのと同じだ。無意味な結論を導き出してしまうモデルを放棄もしくは改修することは、結構なことであるばかりか、むしろ推奨されるべきことである(この点に関する言葉を尽くした議論ついては私とShaliziの共著論文を参照のこと)。第二に、「事前分布」と「データ」を並列的に扱うのはあまり適切なやり方ではない。データを研究対象のパラメータに結び付けるには、モデルが必要だ。統計学ではそのモデルのことを閑却するのが一般的(かつ残念な)慣行となっているが、そのモデルが間違っているということは当然あり得る。経済学者はそのことを分かっており、モデルの仕様の確認を数多く実施する。
・・・
データをまとめたり、ある研究から得られた情報を先入観抜きに集約する、という考え方は尊重している。しかし、意思決定や科学的推論をしなければならない時に、たまたま手元にある小規模なデータに依存して良い理由は見い出せない。
その点では、「データセットに含まれる情報」と「データを見た後での最善の推論」を区別することが役に立つだろう。事前分布抜きの純粋なデータの集約表を提示したいのであれば、それはそれで結構である。しかし、そこから一気に一般法則化するとなると、ちょっと待てよ、と思う。
・・・
別の言い方をしてみよう。ベイジアンでない人にとってベイジアンは、綺麗なデータを主観的な事前分布で汚す人たちである。一方、ベイジアンにとって古典的な統計学者は、利用可能なすべての情報を、分析可能な「データ」なるものと、立ち入り禁止の「事前情報」なるものに恣意的に区分けする人たちである。繰り返しになるが、データの集約表を作成するに当たってはそれは有用なやり方となり得る(世論調査会社が自分のデータに基づいて数値をレポートするのは自由だ)。しかし、目的が意思決定や科学的推論の場合には、そのやり方に意味があるとは思われない。