というNBER論文が上がっている（cf. タイラー・コーエンの紹介、ungated版へのリンクがある著者の一人のページ）。原題は「The ABC’s of Who Benefits from Working with AI: Ability, Beliefs, and Calibration」で、著者はAndrew Caplin（NYU）、 David J. Deming（ハーバード大）、Shangwen Li（NYU）、Daniel J. Martin（UCサンタバーバラ）、Philip Marx（ルイジアナ州立大）、Ben Weidmann（ハーバード大）、Kadachi Jiada Ye（NYU）*1。
以下は導入部の一節。
We ask 732 experimental participants to report the likelihood that 160 different people in photographs are over 21 years of age. Some participants are randomly assigned an AI assistant that provides them with an algorithmic confidence score. The AI assistant is more accurate than the average person but less accurate than the best person, a fact that is known to participants. Treatment group participants receive AI assistance for only some images, which allows us to estimate baseline ability at the task. We also measure general cognitive ability by administering a short form of the Ravens matrices test.
We find that AI assistance improves prediction accuracy on average and with heterogeneous impacts across individuals. We present three main findings addressing the question of ‘who benefits?’. First, the impact of AI assistance depends on whether participants are calibrated about their own abilities. Holding baseline ability fixed, a one standard deviation increase in calibration increases the average treatment effect of AI assistance by 20 percent.
Second, we find that participants with high calibration and low ability gain the most from working with AI. This is consistent with finding that AI closes the performance gap between lower performers and their more expert peers (Brynjolfsson, Li and Raymond, 2023; Noy and Zhang, 2023; Autor, 2024).
Third, we find that miscalibration limits the extent to which AI assistance can reduce performance inequality. In a counterfactual analysis where miscalibration is eliminated, the productivity gap (captured by interquartile ratio, a measure of spread) would shrink nearly twice as much as it does already with the introduction of AI assistance. The reason is that low-ability participants also tend to be more miscalibrated, which limits the benefits from working with AI.
（拙訳）
我々は732の実験参加者に、写真を示した160の別々の人々が21歳以上である可能性を報告するように依頼した。一部の参加者には、アルゴリズムによる信頼スコアを提供するAI補助がランダムに割り当てられた。AI補助は平均的な人よりは正確であるが、最優秀の人ほど正確ではない。この事実は参加者に知らされている。処置群の参加者は一部の写真についてのみAI補助を受ける。それによって我々は作業におけるベースラインの能力を推計することが可能になる。我々はまた、短形式のレーヴンマトリックス検査*2を実施することによって一般的な認知能力を計測した。
AI補助が平均的に予測の正確性を改善し、その影響は各人で不均一であることを我々は見い出した。「誰が裨益するか？」という問いに関する3つの主要な発見を我々は提示する。第一に、AI補助に影響は、参加者が自身の能力について調整されているかどうか*3に左右される。ベースラインの能力を固定した場合、調整度の1標準偏差の増加は、AI補助の平均処置効果を20%高める。
第二に、調整度が高く能力が低い参加者がAIとの作業で最も裨益することを我々は見い出した。これは、成績の低い人とより専門性の高い同業者との間の成績の差をAIが埋めるという発見と整合的である（Brynjolfsson, Li and Raymond, 2023*4; Noy and Zhang, 2023*5; Autor, 2024*6）。
第三に、AIの補助が成績格差を減じ得る程度は誤調整によって制限されることを我々は見い出した。誤調整が除去されるという反実仮想分析では、（差の指標である四分位比率で測られた）生産性ギャップは、AI補助の導入によって既に実現した縮小の倍近く縮小する。その理由は、能力の低い参加者は誤調整の程度も大きい傾向があり、それによってAIとの作業による便益が制約されるためである。
*1:cf. 一部の共著者が書いた機械学習に関する2年前のNBER論文の紹介＝機械学習のモデル化 - himaginary’s diary。
*3:導入部の前段では、「Calibrated beliefs are those that are aligned with objective likelihoods. For example, when 90% sure, a calibrated person is correct 90% of the time.／（原注）For a review of literature on belief calibration and systematic departures, see Benjamin (2019).」と説明されている（Benjamin (2019)はErrors in probabilistic reasoning and judgment biases - ScienceDirect、WP=Errors in Probabilistic Reasoning and Judgment Biases | NBER）。
*4:Generative AI at Work | NBER。
*5:Experimental evidence on the productivity effects of generative artificial intelligence、WP。
