というNBER論文が上がっている（ungated版）。原題は「The A.I. Dilemma: Growth versus Existential Risk」で、著者はCharles I. Jones（スタンフォード大）。
以下はその要旨。
Advances in artificial intelligence (A.I.) are a double-edged sword. On the one hand, they may increase economic growth as A.I. augments our ability to innovate. On the other hand, many experts worry that these advances entail existential risk: creating a superintelligence misaligned with human values could lead to catastrophic outcomes, even possibly human extinction. This paper considers the optimal use of A.I. technology in the presence of these opportunities and risks. Under what conditions should we continue the rapid progress of A.I. and under what conditions should we stop?
（拙訳）
人工知能（AI）の進歩は両刃の剣である。一方では、AIは我々のイノベーション能力を増強するため、経済成長を高めるであろう。もう一方では、多くの専門家はこうした進歩が絶滅の危機をもたらすのではないかと懸念している。人類の価値観とそぐわない超知能を創造することは、破滅的な結果をもたらし、人類の絶滅さえ招くかもしれない、というわけだ。 本稿は、こうした機会とリスクの存在下でのAI技術の最適利用を検討する。どのような条件下で我々はAIの急速な進歩を継続し、どのような条件下で我々は止まるべきなのか？
本文の導入部では以下のような考察を示している。
1. The curvature of utility is very important. With log utility, the models are remarkably unconcerned with existential risk, suggesting that large consumption gains that A.I. might deliver can be worth gambles that involve a 1-in-3 chance of extinction.
2. For CRRA utility with a risk aversion coefficient (γ) of 2 or more, the picture changes sharply. These utility functions are bounded, and the marginal utility of consumption falls rapidly. Models with this feature are quite conservative in trading off consumption gains versus existential risk.
3. These findings even extend to singularity scenarios. If utility is bounded — as it is in the standard utility functions we use frequently in a variety of applications in economics — then even infinite consumption generates relatively small gains. The models with γ ≥ 2 remain conservative with regard to existential risk.
4. A key exception to this conservative view of existential risk emerges if the rapid innovation associated with A.I. leads to new technologies that extend life expectancy and reduce mortality. These gains are “in the same units” as existential risk and do not run into the sharply declining marginal utility of consumption. Even with a future-oriented focus that comes from low discounting, A.I.-induced mortality reductions can make large existential risks bearable.
（拙訳）
- 効用関数の曲率は非常に重要である。対数効用では、モデルは絶滅の危機に驚くほど無関係になる。そのことは、AIがもたらすであろう大きな消費の便益は、1/3の絶滅の危機を伴うギャンブルの価値があることを示している。
- リスク回避度（γ）が2以上のCRRA効用では、構図は大きく変わる。効用関数は有界であり、消費の限界効用は急速に低下する。そうした特性を持つモデルは、消費の便益と絶滅の危機のトレードオフについて非常に保守的である。
- 以上の発見は、シンギュラリティのシナリオにさえも適用される。様々な経済学の応用において我々が良く使う標準的な効用関数におけるように、効用が有界ならば、無限の消費さえも比較的小さな便益しかもたらさない。γが2以上のモデルは絶滅の危機について保守的であり続ける。
- この保守的な見解の重要な例外は、AI関連の急速な進歩が、寿命を延ばし死亡率を下げる新技術につながる場合に現れる。それらの便益は絶滅の危機と「同じ単位」であり、消費の限界効用の急速な低下に陥らない。低い割引率によって将来方向に力点を置いた場合でも、AIのもたらす死亡率の低下は、大きな絶滅な危機を受け入れ可能なものとする。
効用関数の形状によってどの程度の絶滅の危機を甘受するかが変わることの説明として論文では、各γにおける消費cと人生一年の価値の関数v(c)を対比させた以下のグラフを示している。
γ＝1の場合、v(c)は対数関数になるため、v(c) = 10に達するにはcは55倍になる必要がある。一方、γ＝2の場合、v(c)は線形になり、v(c)が6から10に増加するのにcは57%増えれば良い。γ＝3の場合は2次関数になる。
以下は死亡率が1%から0.5%に半減した場合に受け入れ可能な絶滅の危機の確率の閾値がどのように変わるかを示した表。
AIによる成長率が10%でγが3の場合、閾値は1.9%から26.5%に上昇するが、これについて論文では、カタストロフが起きない場合の寿命が100年から200年に延びれば、1/4のカタストロフの確率が受け入れ可能になる、と説明している。
割引率を下げて将来世代を重んじるようにするとこの結果はさらに劇的なものとなり、γ＝3の閾値は90%まで上がるとの由。
結論では、今回の分析で考慮していないポイントとして、AIの安全性への投資のほか、個人ないし効用主義的な見方では「各期に人口の10%が死ぬこと」と「人類絶滅の確率が10%」が等価に扱われていることを挙げている。後者のポイントについては多くの人が等価ではないと考えるかもしれず、その場合閾値はもっと保守的になるだろうと述べている。
