イベルメクチン問題が教えてくれること

Scott Alexanderという有名ブロガー(cf. Slate Star Codex - Wikipedia)によるイベルメクチンのCovid-19への効果のメタ分析をタイラー・コーエンが推奨している。日本語記事では既にgigazineがその概要を紹介している
そのブログでアレキサンダーは、イベルメクチンの効果に関する研究をまとめたサイトを次のように賞賛している。

Any deep dive into ivermectin has to start here:
This is from ivmmeta.com, part of a sprawling empire of big professional-looking sites promoting unorthodox coronavirus treatments. I have no idea who runs it - they’ve very reasonably kept their identity secret - but my hat is off to them. Each of these study names links to a discussion page which extracts key outcomes and offers links to html and pdf versions of the full text. These same people have another 35 ivermectin studies with different inclusion criteria, subanalyses by every variable under the sun, responses and counterresponses to everyone who disagrees with them about every study, and they’ve done this for twenty-nine other controversial COVID treatments. Putting aside the question of accuracy and grading only on presentation and scale, this is the most impressive act of science communication I have ever seen. The WHO and CDC get billions of dollars in funding and neither of them has been able to communicate their perspective anywhere near as effectively. Even an atheist can appreciate a cathedral, and even an ivermectin skeptic should be able to appreciate this website.
(拙訳)
イベルメクチンに関する深掘りはすべてここから始める必要がある:
f:id:himaginary:20211122233028p:plain
上表はivmmeta.comのものだが、同サイトは、非正統的なコロナウイルスの治療を推進している、拡大しつつあるプロ仕様サイトの大帝国の一部だ。誰が運営しているかは知らないが――非常に良く分かる話だが、彼らは自分たちの身元を隠している――私は彼らに脱帽する。各研究の名称はディスカッションのページにリンクしており、そこでは主要な結果を抜粋し、全文のhtml版とpdf版へのリンクも張っている。さらに異なる収録基準で他に35のイベルメクチンの研究を提供しており*1、一般的なすべての変数について副分析を提供しており、各研究について彼らと同意しない人すべてに対する反応と反論を示しており、それを最初の29の論争の的となっているCOVID治療についても行っている。正確性の問題と、プレゼンテーションと規模だけで格付けしているという問題を除けば、これは私が目にした中で最も印象的な科学コミュニケーションのやり方だ。WHOとCDCは何十億ドルもの資金を持っているが、いずれもこれに少しでも近いほど効果的に自分たちの見解をコミュニケートすることはできていない。無神論者でも大聖堂を賞賛することができるが、イベルメクチン懐疑論者でもこのサイトを賞賛することができよう。

この後アレキサンダーは、イベルメクチンの早期治療に関する29の研究を一つ一つ検証した上で、次のように述べている。

...the trends really are in ivermectin’s favor, but once you eliminate all the questionable studies there are too few studies left to have enough statistical power to reach significance.
Except that everyone is still focusing on deaths and hospitalizations just because they’re flashy. Mahmud et al, which everyone agrees is a great study, found that ivermectin decreased days until clinical recovery, p = 0.003?
So what do you do?
This is one of the toughest questions in medicine. It comes up again and again. You have some drug. You read some studies. Again and again, more people are surviving (or avoiding complications) when they get the drug. It’s a pattern strong enough to common-sensically notice. But there isn’t an undeniable, unbreachable fortress of evidence. The drug is really safe and doesn’t have a lot of side effects. So do you give it to your patients? Do you take it yourself?
Here this question is especially tough, because, uh, if you say anything in favor of ivermectin you will be cast out of civilization and thrown into the circle of social hell reserved for Klan members and 1/6 insurrectionists. All the health officials in the world will shout “horse dewormer!” at you and compare you to Josef Mengele. But good doctors aren’t supposed to care about such things. Your only goal is to save your patient. Nothing else matters.
I am telling you that Mahmud et al is a good study and it got p = 0.003 in favor of ivermectin. You can take the blue pill, and stay a decent respectable member of society. Or you can take the horse dewormer pill, and see where you end up.
In a second, I’ll tell you my answer. But you won’t always have me to answer questions like this, and it might be morally edifying to observe your thought process in situations like this. So take a second, and meet me on the other side of the next section heading.
(拙訳)
・・・全体的な傾向は確かにイベルメクチンを支持しているが、疑問のある研究を除くと、有意性を得るのに十分な統計検定力を持つだけの研究は残らない。
ただしそれは、人目を引くという理由で死者数と入院数に焦点を当てている限りにおいてである。皆が素晴らしい研究と認めるマハムードらの研究では、イベルメクチンは臨床的な回復までの日数を減らすことを見い出した。p=0.003だよ?
これはどうしたものか?
これは医学において最も難しい問題の一つである。こうしたことは繰り返し起きる。手元にはある薬がある。研究を幾つか目にする。その薬を服用して生存する(もしくは合併症を回避する)人が多く見られる、というケースが何度も発生している。常識的に考えれば認知するほどの強いパターンだ。しかし、否定も破棄もできないほどの証拠の砦は築かれていない。その薬は完全に安全で、副作用も多くない。ということで、患者に投与するか? 自分でも服用するか?
今の場合、この問題は特に難しい。というのは、まあ、イベルメクチンに少しでも好意的なことを言ったら、文明社会から放り出され、KKKのメンバーや1月6日の暴徒と同じ穴の貉と見做されるからだ。世界中の医療関係者に「馬の駆虫剤!」と怒鳴りつけられ、ヨーゼフ・メンゲレと同じ扱いを受ける。しかし良い医者はそうしたことを気にしないものだ。目標は患者を救うことだけであり、それ以外のことは問題にならない。
先に言ったように、マハムードらの研究は良い研究で、p=0.003でイベルメクチンを支持している。ブルーピルを飲めば、社会のきちんとした尊敬される一員に留まることができる。もしくは馬の駆虫剤のピルを飲んで、どうなるかを見届けることもできる。
間もなく私の答えを示す。しかしこうした問題に常に私のような回答者がいるとは限らず、こうした状況での自分の思考過程を観察することは道徳的に啓発される経験となろう。ということで、しばし間をおいて、次節の見出しの向こうで再会しよう。

この後アレキサンダーは、数行を空けて、「The Synthesis」という見出しの下で以下のように書いている。

Hopefully you learned something interesting about yourself there. But my answer is: worms!
As several doctors and researchers have pointed out (h/t especially Avi Bitterman and David Boulware), the most impressive studies come from places that are teeming with worms. Mahmud from Bangladesh, Ravakirti from East India, Lopez-Medina from Colombia, etc.
Here’s the prevalence of roundworm infections by country (source). But alongside roundworms, there are threadworms, hookworms, blood flukes, liver flukes, nematodes, trematodes, all sorts of worms. Add them all up and somewhere between half and a quarter of people in the developing world have at least one parasitic worm in their body.
...
Treatment of worm infections might reduce the negative effect of COVID-19! And ivermectin is a deworming drug! You can see where this is going…
(拙訳)
自分自身について何か興味深いことを学んだことと思う。しかし私の答えは:寄生虫だ!
f:id:himaginary:20211122233403p:plain
何人かの医者や研究者が指摘したように(h/t 特にアヴィ・ビターマンデビッド・ブールウエア)、最も印象深い研究は寄生虫がうようよしている地域からきている。バングラディシュのマハムード、東インドのラバキルティ、コロンビアのロペス=メディナなどだ。
f:id:himaginary:20211122233423p:plain
国ごとの回虫感染状況は上図の通り(ソース)。しかし回虫のほか、線虫、鉤虫、住血吸虫、肝吸虫、線虫類、吸虫類といったあらゆる種類の寄生虫がいる。総計すれば、1/4から1/2の間のどこかの割合で、発展途上国の人々の体内には少なくとも一つの寄生虫がいる。
・・・
寄生虫治療はCOVIDー19の負の影響を減らすだろう! そしてイベルメクチンは駆虫剤なのだ! 話の行方は明らかだろう・・・

この後アレキサンダーは、この一件の科学的、社会学的、政治的な意味合いについて考察した上で、エントリの最後で以下のように話を要約している。

Ivermectin doesn’t reduce mortality in COVID a significant amount (let’s say d > 0.3) in the absence of comorbid parasites: 85-90% confidence
Parasitic worms are a significant confounder in some ivermectin studies, such that they made them get a positive result even when honest and methodologically sound: 50% confidence
Fraud and data processing errors are of similar magnitude to p-hacking and methodological problems in explaining bad studies (95% confidence interval for fraud: between >1% and 5% as important as methodological problems; 95% confidence interval for data processing errors: between 5% and 100% as important)
Probably “Trust Science” is not the right way to reach proponents of pseudoscientific medicine: ???% confidence
(拙訳)

  • 寄生虫の併存症が無ければ、イベルメクチンはCOVIDによる死者数を有意に減らしはしない(例えばd > 0.3):85-90%の信頼性
  • 幾つかのイベルメクチン研究では寄生虫は有意な交絡要因で、そのため、研究が正直で方法が健全な場合でさえプラスの結果を得ることになる:50%の信頼性
  • 悪しき研究を説明する上で、不正とデータ処理の誤りは、pハッキングと手法上の問題と同程度の説明力を持つ(不正についての95%信頼区間:手法上の問題の1%強から5%の間の重要性、データ処理誤りについての95%信頼区間:5%から100%の間の重要性)*2
  • おそらく「真の科学」は疑似科学的な医学の推進者に届くための正しい方法ではない:???%の信頼性

*1:アレキサンダーが画像で示した表には29の早期治療の研究が掲載されているが、元のサイトでは、本エントリ執筆時点で、それ以外に22の後期段階の治療の研究、15の予防研究が掲載されている。

*2:本文の科学的意味合いの考察でアレキサンダーは、これまでの再現性危機で培われてきた検知方法(方法論のチェックや事前登録された分析のチェック)に加えて、生データを見ることの重要性が今年は明らかになった、としている。それによって不正が検知できるほか、誤りも検知できるから、とのことである。その上で、自身も含め人々が犯す誤りの頻度の多さに警鐘を鳴らしている。