というNBER論文が上がっている（ungated版）。原題は「Bootstrap Diagnostics for Irregular Estimators」で、著者はIsaiah Andrews（MIT）、Jesse M. Shapiro（ハーバード大）。
以下はその要旨。
Empirical researchers frequently rely on normal approximations in order to summarize and communicate uncertainty about their findings to their scientific audience. When such approximations are unreliable, they can lead the audience to make misguided decisions. We propose to measure the failure of the conventional normal approximation for a given estimator by the total variation distance between a bootstrap distribution and the normal distribution parameterized by the point estimate and standard error. For a wide class of decision problems and a class of uninformative priors, we show that a multiple of the total variation distance bounds the mistakes which result from relying on the conventional normal approximation. In a sample of recent empirical articles that use a bootstrap for inference, we find that the conventional normal approximation is often poor. We suggest and illustrate convenient alternative reports for such settings.
（拙訳）
実証研究者は、自分の発見の不確実性を科学界の聴衆に向けて要約し発信するために、正規分布の近似に頼ることが多い。そうした近似が信頼できない場合は、聴衆が誤った判断をすることにつながりかねない。我々は、所与の推定量についての通常の正規分布近似の誤りを、ブートストラップ分布と、点推定と標準誤差でパラメータ化した正規分布との全分散距離で測ることを提案する。広範な種類の決定問題と、ある種の無情報事前分布について、全分散距離の定数倍が、通常の正規分布近似に頼る結果として生じる誤りの上限となることを我々は示す。推定にブートストラップを用いている最近の実証論文のサンプルにおいて、通常の正規分布近似が良くないことが多いことを我々は見い出した。そうした枠組みについての便利な代替的な報告方法を我々は示し、説明する。
論文では仮想的な例について手順を以下のように説明している。
即ち、パネルAでブートストラップ分布を描画し、パネルBでブートストラップ分布と、点推定と標準誤差でパラメータ化された正規分布との間の符号付きコルモゴロフ距離を計算する。この例では正規分布の中央値がブートストラップ分布の25パーセンタイルにあり、点推定がブートストラップ分布の中央値でないことを示唆している。また、ブートストラップ分布の全体の半分が正規分布の中央値と75パーセンタイルの間にあり、ブートストラップ分布が正規分布ほど分散していないことを示している。分析者は単にパネルAを報告するか、もしくは、パネルCのデフォルトの正規分布を、符号付きコルモゴロフ距離を最小化した正規分布に置き換えたパネルDを報告する。パネルEでは要約統計量が示される。
著者たちは、こうした手順をまとめたBootstrapReportというpythonのパッケージとウェブアプリを用意しているとの由（冒頭のungated版へのリンクにそれらのリンクもある）。
