鉛筆なめなめ予測の精度

14日に紹介したBinderのエントリでは、インフレ率に関する人々の予測ならびに記憶が曖昧な証左として、回答されたインフレ率が5%の倍数に集まりやすい傾向が指摘されていた*1
5日付のアトランタ連銀ブログ記事では、プロの予測者の成長率予測でも同様の傾向が見られることを指摘している。
以下はその概要。

  • 多くのプロの予測者は、短期の実質GDP成長率予測で統計モデルを使っている。フィラデルフィア連銀の「Survey of Professional Forecasters」の2013年特別調査によると、21の回答者のうち18人が現四半期予測でモデルを使っていた。しかし、GDP予測を組み立てるための元データの多くが利用可能な場合でも、四半期の実質GDP成長率の最初の予測に際して多くのプロの予測者が判断を交えている、というかなり強い証拠がある。
  • 2016年10月のWSJ予測調査では、第3四半期の年率成長率について最も多い予測は2.5%で、その次は3.0%だった。58の回答のうち21の回答で、小数点以下一桁目が"5"もしくは"0"だった。これは、小数点以下一桁目が均等だった場合に期待される値のほぼ倍に相当する。
  • このパターンは直近の予測に限らない。2003年第一四半期から2016年第三四半期におけるWSJ調査の最初(発表の約3週間前)の成長率予測を集計したところ、2390予測のうちおよそ4割で、小数点以下一桁目が"5"もしくは"0"だった。それに対し、実際の成長率速報(1965年第三四半期〜2016年第三四半期、ただし1991年第三四半期以前は実質GNP成長率)では、その割合は18%だった。アトランタ連銀のGDPNowでは15%に過ぎない。
  • 統計的には、WSJ調査の回答の小数点以下一桁目が一様分布もしくはベンフォード分布に従っているという仮説は、1%の有意水準で棄却される。
  • では、そのように0.5%単位に丸められた予測の精度はどうなのか? 2390回答のうち小数点以下一桁目が"5"もしくは"0"だった回答の(符号を考慮しない)平均誤差は0.786%ポイントで、それ以外の回答の平均誤差は0.743%ポイントだった。両者の差は10%の有意水準でも有意ではない。また、パネル調査という性格上、各予測者について小数点以下一桁目が"5"もしくは"0"の予測を回答しやすい傾向を測定できるが、期間内に少なくとも30個の回答を寄せた44予測者において、小数点以下一桁目が"5"もしくは"0"である予測の頻度と平均予測誤差の相関は0.13に過ぎず、0と有意に異ならなかった。
  • 以上の実証結果からすると、今期GDP予測を行うプロの予測者の中に判断を交えた調整を行っている人がいるとしても、彼らが正確性を犠牲にしているとは言えない。

*1:引用部からは省いてしまったが。