統計

NYTには数学の分かる編集者が必要

とDigitoplyのJoshua Gansが書いている(H/T Economist's View)。 Gansは「Originals: How Non-conformists Change the World」という新著を出すアダム・グラント・ペンシルベニア大ウォートン校教授*1の「How to Raise a Creative Child」というNYT記事を…

最小の平均二乗誤差を持つ線形推定量は?

Dave Gilesが9/21エントリで以下のようなお題をブログ読者に投げ掛けた。 We know from the Gauss-Markhov Theorem that within the class of linear and unbiased estimators, the OLS estimator is most efficient. Because it is unbiased, it therefore …

対称性と歪度

Dave Gilesが、歪度がゼロであることは確率分布が対称的であることの必要条件であるが、十分条件ではない、として、以下の例を示している。これは、N(-2,1)とN(1,2)の2つの正規分布を1:2のウエイトで加重した混合分布である。この時、上図の通り分布は非対称…

頻度主義の信頼区間が破綻する時

昨日のエントリで「これまで長年使われてきた検定がそれほど間違っているはずはない」というノアピニオン氏の意見を紹介したが、それに対してコメンターの一人が、以下のエピソードを紹介している。 I first presented this result to a recent convention o…

p値叩きの反動

についてノアピニオン氏が書いている。p値叩きは一部の心理学の学術誌が有意性検定を禁止するところまで行ったが、こうした動きは行き過ぎであり、これまで長年使われてきた検定がそれほど間違っているはずはない、とノアピニオン氏は言う。以下は氏がそう考…

HPフィルタと単位根

Dave Gilesが表題のエントリ(原題は「The H-P Filter and Unit Roots」)で、以下のように記している。 There's a widespread belief that application of the H-P filter will not only isolate the deterministic trend in a series, but it will also re…

ロジスティック回帰なんか嫌いだ

とChris Blattmanが毒づいている(H/T Economist's View)。 該当ブログエントリのタイトルは「Statistician Neal Beck just justified my longstanding hatred and loathing of logit(統計学者ニール・ベックはロジット分析に対する私の積年の嫌悪と忌避を…

カモノハシとカンガルーと尖度

日本語にしてしまうと意味不明だが、Dave Gilesが、スチューデントとして知られるW.S.ゴセットの1927年の論文から以下の箇所を引用している(H/T Economist's View)。 (拙訳) 「尖度」という言葉に馴染みが無い人のために言っておくと、mesokurticは「β2…

分散がマイナスになる時

数式上は全く同じ結果になるはずが、計算機誤差のために全く違う結果になる例として、分散の計算をDave Gilesが示している。その内容は概ね以下の通り。 データの平均を X* = [Σ(Xi)] / n とした場合、分散の式として最初に習うのは、以下の(1)式であろう。 …

ゼロと異なるp値の情報はすべて不完全

以前、サンプルサイズが大きくなると統計的有意性が高まるという話を紹介したが、カーネギーメロン大学の統計学者であるCosma Rohilla Shaliziが、自ブログ「Three-Toed Sloth」の表題のエントリ(原題は「Any P-Value Distinguishable from Zero is Insuffi…

ディッキー・フラー検定であまり知られていないこと

についてDave Gilesが書いている。 ディッキー・フラーの回帰式は以下のように表される。 ΔYt = [α + β t] + γYt-1 + [Σ δj ΔYt-j] + εtここで[・]の項はオプションであり、 うち、[Σ δj ΔYt-j]は式の残差に自己相関が無いことを保証する役割を担う「拡張項…

季節調整が単位根検定に与える影響

についてDave Gilesがまとめている。 One of the consequences of these standard seasonal adjustment procedures is that they introduce a moving average (MA) component into the data. Indeed, that's part of the point of using them - to smooth ou…

帰無仮説の検定は反証主義的な手法ではない

ということをアンドリュー・ゲルマンが強調している。 ...it’s my impression that null hypothesis significance testing is generally understood as being part of a Popperian, falsificiationist approach to science.So I think it’s worth emphasizin…

二段階最小二乗法による推計値の有限サンプルにおける特性

と題したエントリの冒頭でDave Gilesが、1980年にヒューストンで開かれた米統計学会の大会で経験したことについて書いている(エントリの原題は「Finite-Sample Properties of the 2SLS Estimator」)。 I was sitting in a session listening to an author …

p値と信頼区間に関して繰り返し起こる論争を再訪する

という論文の要約と結論が、バージニア工科大学の統計学者Deborah G. MayoのブログError Statistics blogで紹介されている(H/T Dave Giles)。原題は「Recurring Controversies About P Values and Confidence Intervals Revisited」で、著者はMayoの同僚の…

統計学の百年戦争

Dave Gilesが、M. J. Bayarri(バレンシア大)とJ. O. Berger(デューク大)の「The Interplay of Bayesian and Frequentist Analysis」という2004年の論文を紹介している。 以下はその要旨。 Statistics has struggled for nearly a century over the issue…

自由度調整済み決定係数の意味

についてDave Gilesが幾つかエントリを書いている。 最初のエントリは1年前の5/2付けで、決定係数も自由度調整済み決定係数もあくまでも統計量であり、従って標本分布が存在する、ということを強調している。そして、Barten (1962)に倣ってこの問題を研究し…

ルンバとしてのブートストラップ法

「ブートストラップ平均が使える時と使えない時」と題したエントリ(原題は「Bootstrap averaging: Examples where it works and where it doesn’t work」)でアンドリュー・ゲルマンが、最近Aki Vehtarizと共著した小論を紹介している。 まず、ブートストラ…

ビッグデータにおける統計的有意性

というエントリがBig Data Econometricsなるブログに上がっていることを昨年末にDave Gilesが紹介している。以下はそのブログエントリ「Statistical significance in Big Data」からの引用。 It has been recognized for some time that when using large da…

統計用語の初出一覧

を統計学者のHerbert Davidがまとめ、その論文をDave Gilesが紹介している*1。ただしDavidは、本当に初出かどうかにはあやふやさが付き纏うのが常ということで、論文のタイトルを「First (?) Occurrence of Common Terms in Mathematical Statistics」として…

事前分布がベイズ推定を歪める時

昨日紹介したゲルマンのエントリでは、引用部の冒頭で事前分布への固執を戒めていたが、それは、ノアピニオン氏がベイジアンはデータが信用できないと自分の事前分布に固執する、と揶揄したことへの反論を意図していた。そこでノアピニオン氏は、事前分布を…

モデルとしての事前分布

ノアピニオン氏が統計におけるベイジアンと頻度主義の対立について論じたところ、ベイズ統計学の権威であるアンドリュー・ゲルマンが反応した。以下はそこからの抜粋。 First, a Bayesian doesn’t need to stick with his or her priors, any more than any …

F分布はx分布になるはずだった?

計量経済学者のDave Gilesが、F分布はロナルド・フィッシャーに因んでスネデカーが命名したにも関わらず、フィッシャー自身はそれを喜んでいなかった、というエピソードを紹介している(Economist's View経由)。 Gilesが引用したこちらのサイトによると、フ…

我々は欲しいデータではなく手持ちのデータで戦わねばならない

28日エントリに、稀にしか起きないイベントについて確率を論じることの無意味さを指摘するコメントを頂いたが、そうした議論とつながっていなくもないテーマがアンドリュー・ゲルマンのブログで扱われていた。ただし書いたのはゲルマンではなく、ローレンス…

福島第一による原発事故発生確率のベイズ更新

について世上どのような考察がなされているか知りたいとふと思い、ぐぐってみたところ、このパワーポイントに行き当たった*1。書いたのはFrancois LevequeとLina Escobar。著者のうちLevequeはCERNA(Centre d'Economie Industrielle MINES ParisTech=パリ…

カリブレーションの海賊

アンドリューゲルマンブログで、ゲルマンの共同ブロガーのBob CarpenterがあるScientific American記事に対し、極めて感情的な反発を示した(Economist's View経由)。 それによると、Jonathan Carterという地球物理学者が、単純な油井モデルでデータを生成…

第一種過誤を恐れる物理学者、第二種過誤を恐れる経済学者

CERNが光速を超えるニュートリノを観測したという今話題の発見に事寄せて、Econospeakでピーター・ドーマンが経済学者と物理学者の統計的過誤への態度の違いについて論じている。 以下はその概要。 今回のOpera(Oscillation Project with Emulsion-Tracking…

有意と非有意の差は有意とは限らない

アンドリュー・ゲルマンの9/9ブログエントリと、同日付けガーディアン紙記事( Chris Blattmanブログ経由)が同じ論文を取り上げている。 その論文の内容とは、 ある効果が5%水準で有意 別の効果は5%水準で非有意 よって2つの効果は異なる という誤った推論*…

中国当局はベイズ統計がお嫌い?

昨日に続き今日もアンドリュー・ゲルマンのネタ。 ゲルマンの1/10ブログエントリによると、彼の以下の本の中国語版の出版が差し止め処分を受けたという。Data Analysis Using Regression and Multilevel/HierarchicalModels (Analytical Methods for Social …

統計と数学の違い

Mostly Economicsがアンドリュー・ゲルマンのインタビューを紹介していた(なぜかソースが記述されていなかったが、ぐぐってみるとゲルマンが統計に関する推薦図書を5つ挙げたThe Browserというサイトだった)。 その中の統計と数学の違いに触れた部分が面白…