疑似的なアウトオブサンプルによるモデル選択について

ペンシルベニア州立大学の平野敬祐(Keisuke Hirano)教授とジョンズ・ホプキンス大学のジョナサン・H・ライト(Jonathan H.Wright)教授が共著した論文「Forecasting with Model Uncertainty」がエコノメトリカに掲載されたことを、表題のブログエントリ(原題は「On Pseudo Out-of-Sample Model Selection」)でFrancis Dieboldが祝している
Dieboldによれば、この論文は以下の重要な2つの貢献を行っている。

  • 疑似的なアウトオブサンプル手法(サンプル拡張、サンプル分割)による予測モデル選択における非効率性の原因を厳密な形で特徴付け、Diebold(2015)WP)のような直観的な議論に極めて有益な正確性を付け加えたこと
  • 建設的な話として、ある種のシミュレーションに基づく推計量(バギング*1を含む)が、非効率性を完全に削減できないまでも顕著に減らせることを示したこと

以下はWPの結論部。

When forecasting using k potential predictors, each of which has a coefficient that is local to zero, there are several competing methods, none of which is most accurate uniformly in the localization parameter, which is in turn not consistently estimable. Optimizing the in-sample fit, as measured by the Akaike information criterion, generally does better than out-of-sample or split-sample methods. However, the out-of-sample and split-sample methods can be improved substantially by removing the impact of an ancillary noise term that appears in their limit representations, either through Rao-Blackwellization or bagging. Rao-Blackwellization uniformly lowers asymptotic risk of the out-of-sample and split-sample methods. For important ranges of the local parameters, these modified procedures are very competitive with in-sample methods.
(拙訳)
各係数が局所ゼロ*2のk個の予測変数候補で予測を行う場合、幾つかの競合する手法があるが、いずれかが局所パラメータについて最も一様に正確になることはなく、また、パラメータは一致性をもって推定することができない。赤池情報基準で測定されるインサンプルの適合を最適化することは、一般に、アウトオブサンプル法やサンプル分割法よりも良い結果をもたらす。しかしながら、アウトオブサンプル法とサンプル分割法は、その極限形に現れる副次的なノイズ項の影響をラオ・ブラックウェル化*3もしくはバギングによって取り除くことにより、かなり改善できる。ラオ・ブラックウェル化はアウトオブサンプル法とサンプル分割法の漸近的リスクを一様に低める。局所パラメータの主要な範囲において、これらの修正された手順は、インサンプル法に対し大いに競争力を持つ。

*1:cf. Bootstrap aggregating - Wikipedia

*2:「local-to-zero」という用語は、こちらの論文のモデルパラメータ推計方法の説明の中で以下のように解説されている:
Our third approach uses a large-sample approximation that models uncertainty about γ as being the same order of magnitude as sampling uncertainty. The econometric jargon for this strategy is that γ is treated as being `local-to-zero.'
(拙訳)
我々の3番目の方法は、γに関する不確実性をサンプリングの不確実性と同程度のオーダーとしてモデル化する大規模サンプル近似を用いる。このやり方についての計量経済学の専門用語は、γが「局所ゼロ」として扱われる、というものである。

*3:cf. Rao–Blackwell theorem - Wikipedia