昨日紹介したBellemareのブログ記事では、彼がAngrist＝Pischkeと同様の精神に基づいて書いたという過去のブログ記事にリンクしている。そのうちの表題の記事（原題は「Rookie Mistakes in Empirical Analysis」）では、通常の回帰で十分な時にプロビットやロジットを使いたがる計量経済学の初心者について嘆いたFrances WoolleyのWCIブログ記事を前振りに、応用計量経済学で気を付けるべき4つの事項を重要度順に挙げている。
- 内的妥当性
- 研究対象となるパラメータは信頼性を以って識別されているか？ 言い換えれば、因果関係を推定しているのか、それとも単なる相関を扱っているのか？ もし後者ならば、利用可能な最善のデータと手法で、どこまで因果関係の推定に近付けるか？
- 外的妥当性
- 見い出されたことはサンプル外にも適用可能か？ 可能、もしくは可能でない理由は？
- 正確性
- 標準誤差は正しいか？ 分散不均一性のようなことは考慮したか？ 標準誤差を然るべき階層でクラスタ化したか？
- データ生成過程
- データ生成過程を適切にモデル化したか？ 例えば従属変数が正の整数の場合、ポアソン回帰ないしは負の二項分布回帰をすべきだが、推計過程でその点を考慮しているか？
標準誤差を正しく捉えるのは確かに重要だが、内的妥当性より重要ということはない、とBellemareは言う。また、従属変数が分類されて並べられているのは重要だが、観測数が150ならば、優れた研究設計をして線形回帰を行う方が、最尤法に基づく推計手法よりも良い結果が得られる（最尤法は漸近的に一致性があるが、n=150は漸近的のうちに入らない）――特に政策的な主張を行ったり、個人の行動について何かを知りたいと考えている場合は――と彼は言う。
