AIによる人類存亡リスクを減じるために幾ら支出すべきか?

というNBER論文が上がっているungated版)。原題は「How Much Should We Spend to Reduce A.I.'s Existential Risk?」で、著者はCharles I. Jones(スタンフォード大)。
以下はその要旨。

During the Covid-19 pandemic, the United States effectively “spent” about 4 percent of GDP — via reduced economic activity — to address a mortality risk of roughly 0.3 percent. Many experts believe that catastrophic risks from advanced A.I. over the next decade are at least this large, suggesting that a comparable mitigation investment could be worthwhile. Existing lives are valued by policymakers at around $10 million each in the United States. To avoid a 1% mortality risk, this value implies a willingness to pay of $100,000 per person — more than 100% of per capita GDP. If the risk is realized over the next two decades, an annual investment of 5% of GDP toward mitigating catastrophic risk could be justified, depending on the effectiveness of such investment. This back-of-the-envelope intuition is supported by the model developed here. In the model, for most of the scenarios and parameter combinations considered, spending at least 1% of GDP annually to mitigate AI risk can be justified even without placing any value on the welfare of future generations.
(拙訳)
コロナ禍において米国は、およそ0.3%の死亡リスクに対処するために、GDPの約4%を――経済活動の減少を通じて――事実上「支出」した。専門家の多くは、進化したAIによる今後十年の破滅リスクは少なくともその大きさであると考えており、回避のために同様の規模の投資をする価値があるであろうと示唆している。政策当局は米国で現存する命の価値は一人当たり約1000万ドル*1であると評価している。この評価は、1%の死亡リスクを防ぐために、一人当たり10万ドル――一人当たりGDPの100%以上――を支払う意思があることを意味している。もしリスクが今後20年の間に顕在化するのであれば、破滅リスクを減じるために年間GDPの5%を投資することは、その投資の有効性次第で正当化される。この簡単な計算による直観は、本稿で構築したモデルで裏付けられる。モデルでは、考慮したシナリオとパラメータの組み合わせの大半において、将来世代の厚生をまったく評価しないとしても、AIリスクを減じるために一年当たり少なくともGDPの1%を支出することが正当化される。

モデルでは主体の(利己的な)決定問題を以下の(1)式のように定式化し、(2)式の一次条件を導出している(cは消費、xは破滅リスク回避のための支出、δはxの減少関数である破滅リスク)。

この一次条件は以下の3項の積として表せる。

ここでsはx/y(所得に対する破滅リスク回避のための支出の割合)、ηはδのxに対する弾性値である。この式は、消費とCOVID-19による死のトレードオフ - himaginary’s diaryで紹介したJonesの共著論文の式に似ていることをこの論文では指摘している。第3項は、将来の生命の価値を今日で評価したもの、即ち将来の生命の割引価値を今日の消費の限界効用で割って消費単位に変換し、今日の消費に対する比率で表現したものである。統計的生命価値は1000万ドルで、2023年の米国の一人当たり消費は5.6万ドルなので、この値はおよそ180となる。すると、第1項を0.01、第2項を1%とすれば、GDPの1.8%を支出すべき、ということになる。
関数形について

という追加的な仮定を行なえば、最適支出は

を満たし、幾つかの近似からこれは

となる。論文ではこのモデルを基に各種のシミュレーションを展開している。