確率的誤差距離による点予測の精度の評価

というNBER論文をFrancis X. Dieboldが上げている(原題は「Assessing Point Forecast Accuracy by Stochastic Error Distance」、ungated版)。共著者はMinchul Shin(イリノイ大)。
以下はその要旨。

We propose point forecast accuracy measures based directly on distance of the forecast-error c.d.f. from the unit step function at 0 ("stochastic error distance," or SED). We provide a precise characterization of the relationship between SED and standard predictive loss functions, and we show that all such loss functions can be written as weighted SED's. The leading case is absolute-error loss. Among other things, this suggests shifting attention away from conditional-mean forecasts and toward conditional-median forecasts.
(拙訳)
我々は、予測誤差の累積分布関数と、0における単位ステップ関数との距離(確率的誤差距離、SED)に直接基づく、点予測の精度の指標を提示する。我々は、SEDと標準的な予測損失関数との関係について正確な特性を提供し、そうした損失関数はすべてSEDを加重したものとして表せることを示す。主要な損失関数となるべきは、絶対誤差損失である。そのことは、何よりもまず、条件付き平均予測から条件付き中位予測に関心を移すべきことを示唆している。

ここで「0における単位ステップ関数」が基準になっているのは、誤差が完全にゼロの場合、誤差の累積分布関数は誤差がゼロ未満ではゼロ、ゼロ以上では1になるためである。


Dieboldは2年前に自ブログで論文を以下のように解説している

Minchul and I went in trying to escape the expected loss minimization paradigm. We came out realizing that we hadn't escaped, but simultaneously, that not all loss functions are created equal. In particular, there's a direct and natural connection between our stochastic error divergence (SED) and absolute-error loss, elevating the status of absolute-error loss in our minds and perhaps now making it our default benchmark of choice. Put differently, "quadratic loss is for squares." (Thanks to Roger Koenker for the cute mantra.)
(拙訳)
Minchulと私は、期待損失を最小化するというパラダイムを逃れようとして研究に取り掛かった。結局逃れるには至らなかったことが分かったが、同時に、すべての損失関数が平等ではないことも分かった。特に、我々の確率誤差乖離*1SED)と絶対誤差損失の間には、直接的かつ自然なつながりがあることが分かった。我々の心の中で絶対誤差損失の地位は上昇し、今ではおそらく選択肢のデフォルトとなっている。換言すれば、「平方損失は四角四面*2なのである」(このキュートなマントラはRoger Koenkerのもの)。


また、1年前のエントリでは、論文の一節を割いて数値特性を追究したテーマとして以下を挙げている。

We've all ranked forecast accuracy by mean squared error (MSE) and mean absolute error (MAE), the two great workhorses of relative accuracy comparison. MSE-rankings and MAE-rankings often agree, but they certainly don't have to -- they're simply different loss functions -- which is why we typically calculate and examine both.
Here's a trivially simple question: Under what conditions will MSE-rankings and MAE-rankings agree? It turns out that the answer it is not at all trivial -- indeed it's unknown. Things get very difficult, very quickly.
With N(μ,σ2) forecast errors we have that
E(|e|) = \sigma \sqrt{2/\pi} \exp\left( -\frac{\mu^{2}}{2 \sigma^{2}}\right) + \mu \left[1-2 \Phi\left(-\frac{\mu}{\sigma}\right)\right],
where Φ(⋅) is the standard normal cdf. This relates MAE to the two components of MSE, bias (μ) and variance (σ2), but the relationship is complex. In the unbiased Gaussian case (μ=0), the result collapses to MAE∝σ, so that MSE-rankings and MAE-rankings must agree. But the unbiased Gaussian case is very, very special, and little else is known.
(拙訳)
我々は皆、平均平方誤差(MSE)と平均絶対誤差(MAE)を用いて予測精度をランキングしたことがある。両者は相対的な正確さの比較における2大指標である。MSEランキングとMAEランキングは一致することが多いが、完全に相異なる損失関数であるため、一致する必然性は全くない。それが、我々が通常両方を計算して調べる理由である。
ここでありきたりなほど簡単な質問がある:MSEランキングとMAEランキングが一致するのはどのような条件下だろうか? その答えはありきたりではまったくないことが分かっている。実際のところ、その答えは未知なのだ。この話は急速に非常に難しくなる。
N(μ,σ2)の予測誤差について
E(|e|) = \sigma \sqrt{2/\pi} \exp\left( -\frac{\mu^{2}}{2 \sigma^{2}}\right) + \mu \left[1-2 \Phi\left(-\frac{\mu}{\sigma}\right)\right],
となる。ここでΦ(・)は標準正規累積分布関数である。この式は、MAEを、MSEの偏差(μ)と分散(σ2)という2つの要因に関連付けているが、その関連は複雑である。不偏ガウス分布(μ=0)の場合は、この結果はMAE∝σに帰着するため、MSEランキングとMAEランキングは必ず一致する。しかし不偏ガウス分布は極めて特殊なケースである。それ以外のことはまだほとんど分かっていない。

*1:この時点ではdistanceではなくdivergenceという語を使っている。

*2:ここではsquareに「二乗」と「ださい」の2つの意味があることを掛けている。それを無視すれば、「2次損失は野暮ったい」くらいの方が日本語としては意味が通じやすいか。