p値叩きの反動

についてノアピニオン氏が書いている。p値叩きは一部の心理学の学術誌が有意性検定を禁止するところまで行ったが、こうした動きは行き過ぎであり、これまで長年使われてきた検定がそれほど間違っているはずはない、とノアピニオン氏は言う。以下は氏がそう考える理由。

  1. p値叩きで槍玉に挙げられている、研究者が自分の望むp値を得るまで手を変え品を変え分析を繰り返すこと(p-hacking)や、対立仮説を適切に設定しないことによる偽陽性の問題は、再現性の追究という科学の通常の慣行で解決できる。
  2. 有意性検定だけを見るのではなく、効果量や適合度検定を見るようにすべき。p値だけで結果の有用性を判断する人がいるにしても、それは彼らがp値の使い方を間違えているだけであり、p値が悪しきツールというわけではない。
  3. データ分析では万能のツールは存在しない。

またノアピニオン氏は、p値叩きへの反動の例として、p-hackingの定量的な影響は小さいということを示した今年の論文にリンクし、偽陽性を糾弾した10年前の有名な論文と対比させている。さらに氏は、p値叩きを(自らも参加した)2011年のマクロ経済学批判に準えている。


ただ、コメント欄ではノアピニオン氏に賛成する声は少なく、むしろp値叩きを支持する声が(今のところ)大勢を占めている。