二段階最小二乗法による推計値の有限サンプルにおける特性

と題したエントリの冒頭でDave Gilesが、1980年にヒューストンで開かれた米統計学会の大会で経験したことについて書いている(エントリの原題は「Finite-Sample Properties of the 2SLS Estimator」)。

I was sitting in a session listening to an author presenting a paper about the bias and MSE of certain simultaneous equations estimators. The results were based on a Monte Carlo experiment. However, something just didn't seem right.

I looked at the guy sitting next to me - I didn't know him, but he was also looking puzzled. Then, at the same time, we both said to each other, "But the first two moments of that estimator don't exist!" The next thing out of our mouths was, "Who's going to tell him?"

The guy next to me turned out to be Tom Fomby, and I believe he was the one who politely explained to the speaker that his results were nonsensical.

If (the sampling distribution of) an estimator doesn't have a well-defined mean then it's nonsensical to talk that estimator's bias. Equally, if it doesn't have a well-defined variance, then it makes no sense to talk about its MSE. In other words, the Monte Carlo simulation results were trying to measure something that didn't exist!
(拙訳)
私は、ある連立方程式の推計値の偏りと平均二乗誤差についての論文をその著者がプレゼンするのを聴講していた。結果はモンテカルロ推計に基づいていた。しかし、何かが明らかにおかしいように思われた。
私は隣に座っている男を見やった。知人では無かったが、彼もまた当惑しているように見えた。そして、ほぼ同時に、我々はお互いに向かって「しかしその推計値の一次と二次のモーメントは存在しないぞ!」と言った。次に我々の口をついて出たのは「誰が彼にそのことを伝える?」だった。
私の隣に座っていたのはTom Fombyだった。講演者に論文の結果が意味が無いことを丁寧に説明したのは彼だったと思う。
もし推計値(のサンプル分布)がきちんと定義された平均を持たなければ、その推計値の偏りについて語ることは無意味となる。同様に、それがきちんと定義された分散を持たなければ、その推計値の平均二乗誤差について語ることは無意味となる。言い換えれば、件のモンテカルロシミュレーションの結果は存在しないものを測定しようとしていたのである!


この問題に関するGilesの解説は概ね以下の通り。

  • 連立方程式の推計値の有限サンプルにおけるモーメントが存在するか否かは、一般に、問題の方程式がどの程度過剰識別になっているかに依存する。構造型モデルの「制限情報」や「単一方程式」の推計値に着目した場合、その例である二段階最小二乗法や制限情報最尤法の推計値はkクラス推定量の一種であり、二段階最小二乗法ではk=1である*1。plim(k)=1となるようなkクラス推定量は弱一致性を持つので、二段階最小二乗法や制限情報最尤法の推計値は弱一致性を持つ。通常の最小二乗法はk=0なので、この文脈においては一致性を持たない。
  • 一致性はサンプル数が大きい時の漸近的な特性であり、しかも弱い特性である。一方、有限サンプルにおける偏りや平均二乗誤差については幾つか重要な研究があり、代表的なものはKinal(1980)である。
  • Kinal論文によると、二段階最小二乗法についてm次のモーメントが存在する必要十分条件は、過剰識別の程度をDとして、m < D + 1 となる。従って、適度識別の場合は、モーメントは一切存在しない。D=1ならば平均は存在するが、分散は存在しない。平均も分散も存在するためにはD≥2である必要がある。ということで、適度識別の式について(有限サンプルの)平均二乗誤差を云々することはまったく意味が無い。平均二乗誤差は回帰係数の推計値の真の標準偏差に関する推計値であり、分散が存在しなければ標準誤差も存在するはずが無いからである。
  • 計量経済ソフトでは、適度識別の場合やD=1の場合も標準誤差を出力するが、それらは漸近的な標準誤差である。識別の程度に関わらず、二段階最小二乗法の推計値の漸近的な分布はきちんと定義できる。その漸近的な分布は正規分布であるため、すべてのモーメントが定義可能となる。即ち、サンプルサイズnが無限大の時は何の問題も生じない。だが、有限サンプルを扱う際は、モーメントの存在の有無という問題が厳として存在する。

*1:cf. Wikipediaのkクラス推定量の説明。