自由度調整済み決定係数の意味

についてDave Gilesが幾つかエントリを書いている。

最初のエントリは1年前の5/2付けで、決定係数も自由度調整済み決定係数もあくまでも統計量であり、従って標本分布が存在する、ということを強調している。そして、Barten (1962)に倣ってこの問題を研究したCramer (1987)の研究を基に、統計量としての決定係数の特性として以下を挙げている。

• 決定係数は、「母集団の決定係数」の上方バイアスのある推定値である。
• そのバイアスはサンプル数nが増加すると急速に消滅する。
• 決定係数のバイアスが認識されるほどの大きさである場合には、その標準偏差はバイアスの数倍の大きさになる。
• 自由度調整済み決定係数は、決定係数の正のバイアスを事実上消去する通常の手順である。
• しかしながら、自由度調整済み決定係数は元の決定係数より変動が大きい。

また、Imhof (1961)のアルゴリズムを用いて数値的手法で決定係数の母集団を推計したKoerts and Abrahamse (1971)は、以下の結果を見出したという。

On the Theory and Application of the General Linear Model

• 標本分布は説明変数行列Xに敏感である。
• 回帰モデルの擾乱項が正［負］のAR(1)過程に従うならば、決定係数の標本分布を右［左］、即ち1［0］方向にシフトさせる。換言すれば、誤差が正のAR(1)過程に従うならば、他の条件が等しければ、大きな標本決定係数値を観測する可能性が高まる。

しかし、Davies (1980)のアルゴリズムを用いて自己相関の効果をさらに追究した自らの共同研究Carrodus and Giles (1992)では、以下の結果が見出されたとの由。

• 負のAR(1)過程はほぼ例外なく決定係数の分布を左にシフトさせる。
• 正のAR(1)過程はX次第で決定係数の分布を左にも右にもシフトさせる。
• 正または負のMA(1)の誤差が分布をシフトさせる方向は不定であり、明確なパターンは見られない。

2番目の10/1エントリでは、決定係数と、定数項を除くすべての回帰係数がゼロであるという帰無仮説の下のF統計量との間に単純な関係が成立することを利用し、その帰無仮説が真の場合――その場合、母集団の決定係数はゼロとなる――の決定係数の期待値と分散を求めている。結果は以下の通り（kはパラメータ数）。
　E[R²] = [(k - 1) / (n - 1)]
　Var.[R²] = [(k - 1)(n - k)] / [n (n - 1)²]
標本の決定係数は母集団の決定係数（＝ゼロ）の上方バイアスを持った推定値となっているが、n → ∞と共に平均も分散もゼロに近づく。この場合、分散は、母集団の決定係数について平均平方一致性と弱一致性を持つ*1。

翌10/2エントリでは、この場合の自由度調整済み決定係数の期待値と分散を以下の通り求めている。
　E[R_A²] = 0
　Var.[R_A²] = (k - 1) / [n(n - k)]
即ち、自由度調整済み決定係数は母集団の指標の不偏性かつ一致性を持つ推定値となっている。

4番目のエントリは先週15日付けで、10/1と10/2の結果から、「自由度調整済み決定係数におけるバイアスの消去は変動性の増加という代償を伴っている（elimination of this bias comes at the expense of increased variability）」という、最初のエントリの決定係数の特性の第4、第5項で挙げた特徴を指摘している。というのは
　Var.[R²] / Var.[R_A²] = [(n - k) / (n - 1)]² ≤ 1
なので、 Var.[R²] ≤ Var.[R_A²]だからである。
またこのエントリでは10/1と10/2のケースの平均平方誤差も求め、そちらは自由度調整済み決定係数の方が小さくなることも示している。
　MSE[R²] = [k(k - 1) / n(n - 1)]*2
　MSE[R_A²] = Var.[R_A²] = (k - 1) / [n(n -k)]
ここで
　Δ = MSE[R²] - MSE[R_A²] = (k - 1)[k(n - k) - (n - 1)] / [n(n - k)(n - 1)]
だが、Δの符号は
　sgn(Δ) = sgn[k(n - k) - (n - 1)] = sgn[k(n - k) - (n - 1) - k(n - 1) + k(n - 1)] = sgn[(k - 1)(n - k - 1)]
であり、これは自由度が1以上あれば負とはならない。

またこの5/15エントリでは、10/1と10/2のケースに捉われない一般的な話として、両決定係数の以下の特徴を挙げている。

• R_A² ≤ R²
• R²と異なり、R_A²は負の値を取り得る。
• 説明変数を付け加えた場合R²が減少することは無いが、その説明変数の（通常の）t値の絶対値が1より小さければR_A²は減少する（こことここ参照）。

*1:cf. ここ、

*2:これは
Var.[R²]＋E[R²]²
＝[(k - 1)(n - k)＋n(k - 1)²] / [n (n - 1)²]
＝[(k - 1)(n - k + nk - n )] / [n (n - 1)²]
＝[k(k - 1) / n(n - 1)]
として求められる。