二重回帰

という論文(原題は「Dual Regression」)をFrancis Dieboldが取り上げ、一般最小二乗法における通常の二次の損失関数を、それと似ているが違うものに変更した論文、と解説している。論文では定式化が正しい場合と間違っている場合について興味深い特性が導出されているとのことだが、Dieboldは以下のように書いて慎重な受け止め方をしている。

Generally we're comfortable with quadratic loss, in which case OLS delivers the goods (the conditional mean or linear projection) in large samples under great generality (e.g., see here). The dual regression estimator, in contrast, has a different probability limit under misspecification -- it's not providing a KLIC-optimal approximation.
...Certainly there is nothing sacred about quadratic loss, even if the conditional mean is usually a natural predictor. We sometimes move to absolute-error loss (conditional median predictor), check-function loss (conditional quantile predictor), or all sorts of other predictive loss functions depending on the situation. But movements away from conditional mean or median prediction generally require some justification and interpretation. Equivalently, movements away from quadratic or absolute predictive loss generally require some justification and interpretation.
(拙訳)
一般に我々は二次損失関数で満足している。それによって一般最小二乗法は、大いなる一般性の下で大きなサンプルについて有用なもの(条件付き平均や線形予測)を提供してくれる(例えばここ参照)。一方、二重回帰推計値は、定式化が間違っている場合に異なる確率限界を提供しており、KLIC最適近似を提供してはいない。
・・・確かに二次損失関数は、たとえ条件付き平均が通常は自然な予測だとしても、決して神聖不可侵なものではない。我々は時に絶対誤差損失(条件付き中央値の予測)やチェック関数損失(条件付き分位値の予測)を使うほか、状況に応じてありとあらゆる予測の損失関数を使う。しかし条件付き平均や中央値の予測から離れることについては、一般に何らかの正当化と解釈が必要となる。即ち、二次や絶対誤差の予測損失関数から離れることについては、一般に何らかの正当化と解釈が必要となる。