ロジスティック回帰なんか嫌いだ

とChris Blattmanが毒づいている(H/T Economist's View)。
該当ブログエントリのタイトルは「Statistician Neal Beck just justified my longstanding hatred and loathing of logit(統計学者ニール・ベックはロジット分析に対する私の積年の嫌悪と忌避をまさに正当化してくれた)」で、以下はその冒頭部。

Neal is probably horrified by my slightly inaccurate title, but we all know this blog ain’t the New York Times.
In 2010 I was on sabbatical at NYU’s political science department. Neal asked me why I always used ordinary least squares regressions (OLS) when my dependent variable was a 1 or 0. Why not logit instead of this linear probability model? He had seen economists do this before, and was surprised at my reply—that it had become general practice in a lot of applied economics.
I think the reasons economists often go the linear route is because it generates very simple to interpret estimates, which is not the case with logit. And they are basically correct, with logit unlikely to yield a different answers. Clarity wins in my book.
It interested him enough to run some simulations, and what he found didn’t dissuade me from my sloppy clarity. Several years later, I get an email from Neal titled “At last!” It is a paper.
(拙訳)
ニールはおそらく私の些か不正確なタイトルにぞっとするだろうが、このブログがニューヨークタイムズではないのは周知の事実だ。
2010年に私はサバティカルニューヨーク大学政治学科に来ていた。ニールは、従属変数が1か0の時になぜ私がいつも通常最小二乗法を使うのか、と尋ねた。なぜそんな線形確率モデルの代わりにロジットを使わないのだ? 彼は経済学者がそうするのを以前にも目にしていたのだが、私の回答――応用経済学の多くの分野でそれが一般的な慣行になっている――に驚いていた。
私が思うに、経済学者がしばしば線形の手法を採用する理由は、推定結果の解釈が非常に簡単だからだ。ロジットではそうはいかない。また、ロジット分析が異なる結果を返す可能性は低いので、彼らは基本的に正しい結果を得ている。私の考えでは、明確さが優先されるのだ。
この話に興味を抱いたニールは、幾つかシミュレーションを走らせたが、彼の発見は私のいい加減な明確さを捨てさせるには至らなかった。数年後の今、私は「遂に!」と題されたeメールをニールから受け取った。それは論文だった。


該当の論文はこちらで、Blattmanはその要旨を紹介している。

This article deals with a very simple issue: if we have grouped data with a binary dependent variable and want to include fixed effects (group specific intercepts) in the specification, is Ordinary Least Squares (OLS) in any way superior to a (conditional) logit form? In particular, what are the consequences of using OLS instead of a fixed effects logit model in respect to the latter dropping all units which show no variability in the dependent variable while the former allows for estimation using all units.
First, we show that the discussion of fixed effects logit (and the incidental parameters problem) is based on an assumption about the kinds of data being studied; for what appears to be the common use of fixed effect models in political science the incidental parameters issue is illusory.
Turning to linear models, we see that OLS yields a perhaps odd linear combination of the estimates for the units with variation in the dependent variable and units without such variation, and so the coefficient estimates must be carefully interpreted.
The article then compares two methods of estimating logit models with fixed effects, and shows that the Chamberlain conditional logit is as good as or better than a logit analysis which simply includes group specific intercepts (even though the conditional logit technique was designed to deal with the incidental parameters problem!).
Related to this, the article discusses the estimation of marginal effects using both OLS and logit. While it appears that a form of logit with fixed effects can be used to estimate marginal effects, this method can be improved by starting with conditional logit and then using the those parameter estimates to constrain the logit with fixed effects model. This method produces estimates of sample average marginal effects that are at least as good as OLS, and better when group size is small. However, this is based on simulations favorable to the logit setup.
So it can be argued that OLS is not “too bad” and so can be used when its use simplifies other matters (such as endogeneity). These issues are simple to understand, but it appears that applied researchers have not always taken note of these issues.
(拙訳)
本稿は非常に単純な問題を扱っている。二値の従属変数にデータをグループ分けし、分析に固定効果(グループ特有の切片)を含めたいならば、通常最小二乗法(OLS)が(条件付き)ロジット分析に勝る点が何か存在するだろうか? 特に、固定効果ロジットモデルの代わりにOLSを用い、後者で従属変数に変動が無いユニットは全部落とす一方で、前者ですべてのユニットを用いて推計を行った場合はどうなるだろうか?
まず我々は、固定効果ロジット(および付随パラメータ問題)に関する議論は、研究対象データの種類に関する前提に基づいていることを示す。政治学で一般的と思われる固定効果モデルの使用法では、付随パラメータ問題は幻想に過ぎない。
線形モデルについて言えば、OLSはおそらく、従属変数に変動があるユニットとそうした変動が無いユニットの推計値の奇妙な線形結合になっている。従って係数の推計値の解釈は慎重になされるべきである。
さらに本稿は、固定効果付きロジットモデルを推計する2つの手法を比較し、チェンバレンの条件付きロジットは、単にグループ固有の切片を含むロジット分析と同程度に優れているか、もしくはそれ以上であることを示す(条件付きロジットの技法は付随パラメータ問題に対処するために設計されたものなのだが!)。
この話に関連して、本稿ではOLSとロジットの両方を用いて限界効果の推計について論じる。固定効果付きロジットのある形式は限界効果の推計に用いることができるように思われるが、この手法は、まず条件付きロジット分析を行い、そのパラメータ推計値で固定効果付きロジットモデルに制約を掛けることによって改善することができる。この手法はOLSと同程度に優れたサンプル平均限界効果の推計値をもたらし、グループのサイズが小さい時はより優れた推計値をもたらす。しかしながら、このことはロジットの枠組みに有利なシミュレーションに基づいている。
以上から、OLSは「あまりにも悪い」わけではないので、その使用によって(内生性のような)他の問題が単純化できるのであれば、使っても良い、と論じることができる。そうした問題は理解するのは容易ではあるが、応用分野の研究者はそうした問題を常に気に留めているわけではないようである。