昨日エントリで紹介したワルドマンの考察に内容的に近い表題のNBER論文をタイラー・コーエンが紹介している。論文の原題は「…and the Cross-Section of Expected Returns」で*1、著者はCampbell R. Harvey（デューク大）、Yan Liu（テキサスA&M大）、Heqing Zhu（オクラホマ大）。
以下はSSRNのungated版の結論部の冒頭。
At least 316 factors have been tested to explain the cross-section of expected returns. Most of these factors have been proposed over the last ten years. Indeed, Cochrane (2011) refers to this as “a zoo of new factors”. Our paper argues that it is a serious mistake to use the usual statistical significance cutoffs (e.g., a t-ratio exceeding 2.0) in asset pricing tests. Given the plethora of factors and the inevitable data mining, many of the historically discovered factors would be deemed “significant” by chance.
Our paper presents three conventional multiple testing frameworks and proposes a new one that particularly suits research in financial economics. While these frameworks differ in their assumptions, they are consistent in their conclusions. We argue that a newly discovered factor today should have a t-ratio that exceeds 3.0. We provide a time-series of recommended “cutoffs” from the first empirical test in 1967 through to present day. Many published factors fail to exceed our recommended cutoffs.
While a ratio of 3.0 (which corresponds to a p-value of 0.27%) seems like a very high hurdle, we also argue that there are good reasons to expect that 3.0 is too low. First, we only count factors that are published in prominent journals and we sample only a small fraction of the working papers. Second, there are surely many factors that were tried by empiricists, failed, and never made it to publication or even a working paper. Indeed, the culture in financial economics is to focus on the discovery of new factors. In contrast to other fields such as medical science, it is rare to publish replication studies of existing factors. Given that our count of 316 tested factors is surely too low, this means the t-ratio cutoff is likely even higher.
（拙訳）
期待リターンのクロスセクションを説明するのに少なくとも316のファクターが試されてきた。それらのファクターの大部分は過去10年の間に提唱された。Cochrane(2011)*2はこの現象をいみじくも「新ファクターの動物園」と呼んだ。本稿では、通常の統計的有意性の閾値（即ち、t値の2.0超）を資産価格の検証の際に用いることは大いなる誤りであると論じている。ファクターがあまりにも多いこと、および必然的に生じるデータマイニングのことを考えると、過去に発見されたファクターの多くは偶然によって「有意」と見做されたものと思われる。
本稿は、3つの従来型の多重検定の枠組みを提示するとともに、ファイナンス経済学に特に適合した新しい枠組みも提唱する。これらの枠組みは前提は異なるが、結論は整合的である。我々は、今日新たに発見されたファクターは3.0を超えるt値を持たねばならないと論じる。我々は1967年の最初の実証検定から今日に至る推奨「閾値」の時系列を提供する。学会誌に掲載されたファクターの多くは我々の推奨閾値を超えていない。
3.0というt値（これはp値で0.27%に相当する）は非常に高いハードルのように思われるが、我々は、3.0が低すぎると考えるべき理由が十分にある、とも論じる。第一に、我々は著名な学会誌に掲載されたファクターのみを数えているほか、ワーキングペーパーについてはかなり部分的にしかサンプリングしていない。第二に、実証研究者が試したファクターで、うまくいかず、掲載はおろかワーキングペーパーにもならなかったものは間違いなく数多く存在する。実際のところ、ファイナンス経済学の文化は新ファクターの発見に力点を置いている。医学のような他分野とは対照的に、既存のファクターの追試研究を学会誌に出すことは稀である。我々の316という検定されたファクターの数が間違いなく低過ぎることを考えると、そのことはt値の閾値がさらに上である可能性が高いことを意味する*3。
以下はSSRNのサイトに掲載された時系列グラフ。
*1:これはもちろんファーマ＝フレンチの有名な論文のタイトルのもじり。
*3:原注：In astronomy and physics, even higher threshold t-ratios are often used to control for testing multiplicity. For instance, the high profile discovery of Higgs Boson has a t-ratio of more than 5 (p-value less than 0.0001%). See ATLAS Collaboration (2012), CMS Collaboration (2012), and Harvey and Liu (2014c).
（拙訳）
天文学や物理学では、多重性の検定のコントロールのために、さらに大きなt値の閾値が使われることが多い。例えば、有名なヒッグスボソンの発見の際にはt値は5を超えた（p値は0.0001%未満）。ATLAS共同研究（2012）（訳注：ここ）、CMS共同研究（2012）（訳注：ここ）、Harvey and Liu (2014c)（訳注：ここ）参照。
