手法が問題：経済学の因果分析におけるpハッキングと掲載バイアス

というAER掲載予定論文をタイラー・コーエンが紹介している。論文の原題は「Methods Matter: P-Hacking and Publication Bias in Causal Analysis in Economics」で、著者はAbel Brodeur、Nikolai Cook、Anthony Heyes（いずれもオタワ大）。
以下はその要旨。

The credibility revolution in economics has promoted causal identification using randomized control trials (RCT), difference-in-differences (DID), instrumental variables (IV) and regression discontinuity design (RDD). Applying multiple approaches to over 21,000 hypothesis tests published in 25 leading economics journals we find that the extent of p-hacking and publication bias varies greatly by method. IV (and to a lesser extent DID) are particularly problematic. We find no evidence that: (1) Papers published in the ‘Top 5’ journals are different to others; (2) The journal ‘revise and resubmit’ process mitigates the problem; (3) Things are improving through time.
（拙訳）
経済学における信頼性革命は、ランダム化比較試験（RCT）、差の差（DID）、操作変数（IV）、および回帰不連続デザイン（RDD）を用いた因果関係の識別を促した。25の主要な経済学術誌に掲載された21,000以上の仮説検定に複数の手法を適用したところ、pハッキングと掲載バイアスの程度は手法によって大きく違うことを我々は見い出した。IV（そしてIVほどではないがDID）は特に問題含みである。我々は以下の件について何ら証拠を見い出さなかった：(1)「トップ5」誌に掲載された論文は他とは違う；(2)学術誌の「修正して再投稿」という過程によって問題が緩和される；(3)時間と共に事態は改善している。

コーエンはさらに、この論文を巡る「場外戦」を紹介している。ESADEビジネススクールのUri Simonsohnが、自分がこの論文の査読者の一人であることを明らかにした上で、こちらのブログで論文に疑義を呈し、それに著者たちが反論したのである。コーエン自身は、まだどちらが正しいか判断が付かない、という姿勢を示している。

Simonsohnの疑義は、pハッキングにはスローとファストの2種類がある、という認識に基づいている。スローのpハッキングとは、いろいろ手を変え品を変えてもp値の低下は緩慢で、何とか頑張ってやっとこさ0.05を下回る、というものである。ファストのpハッキングとは、ちょっとした修正でp値が大きく下がるものを指している。Simonsohnによれば、観測値による研究はスロー、実験による研究はファストの傾向があるという（ただしそれはまだ直観段階で確かな話ではない、と断っている）。このようにpハッキングも一筋縄ではいかないので、単に、0.05を境にp値の分布に不自然な点が見られる、という分析ではpハッキングは検知できない、というのがSimonsohnの指摘である。
Simonsohnはまた、論文ではp値の本来の分布として単峰性を仮定し、複数の山がある分布は不自然だ、としているが、本来の分布が単峰である保証はない、という指摘も行っている。

これに対し著者たちは、論文ではIV対DIDなど非実験系の手法における違いを主要な発見として取り上げているが、それにはスローvsファストは関係ないのでは、と反論すると共に、RCTはファストというSimonsohnの見立てにも異議を唱えている。また、自分たちは0.05の直下にp値が蝟集しているかどうか以外にも様々な分析を行って結論を導き出している、とも述べている。さらに単峰性については、通常想定される分布では満たされるのでは、と反論している。

社会革命と専制体制の耐性

という論文をタイラー・コーエンが紹介している。論文の原題は「Social Revolution and Authoritarian Durability」で、著者はJean Lachapelle（V-dem研究所*1）Steven Levitsky（ハーバード大）、Lucan A. Way（トロント大）、Adam E. Casey（ミシガン大）。
以下はその要旨。

This article explores the causes of authoritarian durability. Why do some authoritarian regimes survive for decades, often despite severe crises, while others collapse quickly, even absent significant challenges? Based on an analysis of all authoritarian regimes between 1900 and 2015, the authors argue that regimes founded in violent social revolution are especially durable. Revolutionary regimes, such as those in Russia, China, Cuba, and Vietnam, endured for more than half a century in the face of strong external pressure, poor economic performance, and large-scale policy failures. The authors develop and test a theory that accounts for such durability using a novel data set of revolutionary regimes since 1900. The authors contend that autocracies that emerge out of violent social revolution tend to confront extraordinary military threats, which lead to the development of cohesive ruling parties and powerful and loyal security apparatuses, as well as to the destruction of alternative power centers. These characteristics account for revolutionary regimes’ unusual longevity.
（拙訳）
本稿は専制体制の持続性の原因を追究する。専制体制には何十年も続くものがあり、その中には深刻な危機にもかかわらず存続するものが少なくない一方で、重大な困難が無い場合でも急速に崩壊するものがあるのはなぜなのか？　1900年から2015年までの全ての専制体制の分析に基づき、著者たちは、暴力的な社会革命で築かれた体制は特に耐性が高い、と論じる。ロシア、中国、キューバ、ベトナムのような革命体制は、強い外圧や乏しい経済実績や大規模な政治的失敗の下で、半世紀以上続いた。著者たちは、1900年以降の革命体制に関する新たなデータセットを用い、そうした耐性を説明する理論を構築し、検証した。暴力的な社会革命から出現した独裁体制は、大いなる軍事的脅威に直面しがちであり、それによって団結力の強い与党と、強力かつ忠実な安全機構が出来上がると共に、代替的な権力の中核は破壊される。以上の特性が、革命体制の非常な長寿を説明する。

*1:cf. V-Dem Institute - Wikipedia。

企業の信用リスクを引き受けたFRB：SMCCFの効果の分析

というNBER論文が上がっている。原題は「The Fed Takes on Corporate Credit Risk: An Analysis of the Efficacy of the SMCCF」で、著者はSimon Gilchrist（NYU）、Bin Wei（アトランタ連銀）、Vivian Z. Yue（エモリー大）、Egon Zakrajšek（FRB）。
以下はその要旨。

We evaluate the efficacy of the Secondary Market Corporate Credit Facility (SMCCF), a program designed to stabilize the corporate bond market in the wake of the Covid-19 shock. The Fed announced the SMCCF on March 23 and expanded the program on April 9. Regression discontinuity estimates imply that these announcements reduced credit spreads on bonds eligible for purchase 70 basis points. We refine this analysis by constructing a sample of bonds—issued by the same set of companies—which differ in their SMCCF eligibility. A diff-in-diff analysis shows that both announcements had large effects on credit spreads, narrowing spreads 20 basis points on eligible bonds relative to their ineligible counterparts within the same set of issuers across the two announcement periods. The March 23 announcement also reduced bid-ask spreads ten basis points within ten days of the announcement. By lowering credit spreads and improving liquidity, the April 9 announcement had an especially pronounced effect on “fallen angels.” The actual purchases lowered credit spreads by an additional five basis points and bid-ask spreads by two basis points. These results confirm that the SMCCF made it easier for companies to borrow in the corporate bond market.
（拙訳）
我々は、Covid-19ショック後の企業債券市場を安定化させるためのプログラムである2次市場企業信用購入プログラム（SMCCF）の効果を評価した。FRBはSMCCFを3月23日に公表し、同計画を4月9日に拡大した。回帰不連続推計によれば、それらのアナウンスによって購入対象債券の信用スプレッドは70ベーシスポイント縮小した。我々は、SMCCFの対象になるか否かという点で違いのある、同一企業群が発行した債券のサンプルを構築してこの分析を精緻化した。差の差分析によれば、両アナウンスは信用スプレッドに大きな影響があり、買い入れ対象となった債券は、2つのアナウンスの期間を通じて、同一発行者群の買い入れ対象とならなかった比較対象債券に比べてスプレッドが20ベーシスポイント縮小した。3月23日のアナウンスは、アナウンスの10日後にビッドアスクスプレッドも10ベーシスポイント縮小させた。信用スプレッドを低下させ流動性を改善することにより、4月9日のアナウンスは「堕ちた天使」に特に顕著な効果を発揮した。実際の購入は、信用スプレッドをさらに5ベーシスポイント、ビッドアスクスプレッドを2ベーシスポイント縮小させた。以上の結果は、SMCCFが企業債券市場での企業の借り入れを容易化させたということを裏付けた。

コミュニケーションと経済主体の信念

というNBER論文をCoibionとGorodnichenkoのコンビらが上げている（ungated版）。原題は「Communication and the Beliefs of Economic Agents」で、著者はBernardo Candia（UCバークレー）、Olivier Coibion（テキサス大オースティン校）、Yuriy Gorodnichenko（UCバークレー）。
以下はその要旨。

New surveys provide a wealth of information on how economic agents form their expectations and how those expectations shape their decisions. We review recent evidence on how changes in macroeconomic expectations, particularly inflation expectations, affect households’ and firms’ actions. We show that the provision of information about inflation to households and firms can sometimes backfire in terms of their subsequent decisions. Whether or not this is the case hinges on how individuals interpret the news about inflation: supply-side interpretations (“inflation is bad for the economy”) lead to negative income effects, which can depress economic activity. We show that households in advanced economies, unlike professional forecasters, typically have such a supply-side interpretation, as do many firms. New communication strategies could avoid public misinterpretation of policy decisions.
（拙訳）
新しい各種の調査により、経済主体がどのように自らの予想を形成し、それらの予想がどのように彼らの決定を形成するかについての豊富な情報が提供された。我々は、マクロ経済予想、とりわけインフレ予想の変化が家計と企業の行動にどのように影響するかについての最近の実証結果を概観する。家計と企業へのインフレに関する情報の供給は、それを受けた彼らの行動という点で時に逆効果となり得ることを我々は示す。そうなるか否かは、インフレに関するニュースを個人がどのように解釈するか次第である。サプライサイド解釈（「インフレは経済に悪い」）は負の所得効果につながり、それは経済活動を抑制し得る。先進国経済の家計は、予測の専門家と違い、そうしたサプライサイド解釈をするのが常であり、多くの企業も同様である。新たなコミュニケーション戦略により、政策決定に関する一般の誤解釈を回避することができる。

「新たなコミュニケーション戦略」についてungated版の結論部では以下のように書かれている（cf. ここで紹介した論文）。

In particular, we propose that central bankers focus on simple, transparent and “holistic” messages to the broader public. Simplicity and transparency are needed to break through the veil of inattention. A holistic approach is needed to ensure that desired effects are not confounded with unintended income or information effects. This is especially true when it comes to inflation and monetary policy, topics that the public is notoriously uninformed about. Emphasizing the desired outcomes, rather than the instruments or the mechanisms, provides a way to inform in an effective manner.
（拙訳）
具体的には、一般の幅広い人々に向けた簡潔で分かりやすく「総合的な」メッセージに中央銀行家が注力することを我々は提案する。簡潔性と分かりやすさは、無関心のベールを突破するために必要である。総合的なアプローチは、望まれる効果が意図しない所得効果や情報効果と混同されないことを保証するために必要である。このことは、一般の人々が知らないことで悪名高いインフレ政策と金融政策については特にそうである。ツールやメカニズムではなく望ましい結果を強調することは、情報を効果的に伝達する一つの方法となる。

操作変数を用いたバイナリ回帰変数の分類誤りの修正

というNBER論文が上がっている（昨年末時点のWP）。原題は「Correcting for Misclassified Binary Regressors Using Instrumental Variables」で、著者はSteven J. Haider（ミシガン州立大）、Melvin Stephens Jr.（ミシガン大）。
以下はその要旨。

Estimators that exploit an instrumental variable to correct for misclassification in a binary regressor typically assume that the misclassification rates are invariant across all values of the instrument. We show that this assumption is invalid in routine empirical settings. We derive a new estimator that is consistent when misclassification rates vary across values of the instrumental variable. In cases where identification is weak, our moments can be combined with bounds to provide a confidence set for the parameter of interest.
（拙訳）
バイナリ回帰変数において、操作変数を用いて分類誤りを修正した推計量は、誤りの割合が操作変数の全ての値について不変であると仮定するのが普通である。我々は、日常的な実証の枠組みにおいてこの仮定が無効であることを示す。我々は、誤りの割合が操作変数の値によって変化する場合に一致性を持つ新たな推計量を導出する。識別が弱い時、我々のモーメントは、推計対象パラメータについて信頼区間を提供する境界値と組み合わせることができる。

毛と鄧の下で育って：企業政策のイデオロギー的決定要因について

というフィンランド銀行論文をMostly Economicsが紹介している（著者によるオックスフォード大法学部ブログエントリ）。原題は「Growing up under Mao and Deng: On the ideological determinants of corporate policies」で、著者はHao Liang（シンガポールマネージメント大）、Rong Wang（同）、Haikun Zhu（エラスムス・ロッテルダム大）。
以下はその要旨。

Economic activities have always been organized around certain ideologies, yet little is known about how ideology shapes corporate behavior and how it is different from other political forces. We investigate the impact of politicians’ ideology on corporate policies by exploring a unique setting of ideological change in China from Mao’s ideology to Deng’s around 1978. Using textual analysis based on keywords in People’s Daily, we find a discontinuity in ideological exposure among people who later became city mayors. Those who were at least 18 years old in 1978 and had joined the Chinese Communist Party (CCP) are more likely to have adopted Mao’s ideology, and those who did not join by 1978, due to age limit, but joined soon thereafter were more likely to have adopted Deng’s ideology.
This ideological difference has had an enduring effect on contemporary firm and city policies. Firms in cities governed by mayors with Mao’s ideology have made more social contributions, lowered within-firm pay inequality, and pursued less internationalization than those with Deng’s. These effects are stronger in firms with political connections, less state ownership, and more government subsidies as well as in regions that are more market-oriented and not “revolutionary bases.” Our results are robust to OLS regressions with various pair fixed effects besides regression discontinuity. We further find that corporate policies promoted by Mao’s ideology are associated with slower firm growth but greater stakeholder engagement.
（拙訳）
経済活動は常に特定のイデオロギーを軸として組織化されてきたが、イデオロギーがどのように企業行動を形成し、それが他の政治的な力とどのように違うかについてはあまり知られていない。我々は、1978年頃の中国の毛のイデオロギーから鄧のそれへのイデオロギーの変化という独特の状況を利用し、政治家のイデオロギーが企業行動に与える影響を調べた。人民日報のキーワードに基づくテキスト分析を用いて、後に市長となった人々が影響を受けたイデオロギーの不連続性を我々は見い出した。1978年に少なくとも18歳になっていて、中国共産党の党員だった人は、毛のイデオロギーを採用しがちであった。一方、年齢制限のために1978年までに党員になっておらず、その後まもなく党員になった人は、鄧のイデオロギーを採用しがちであった。
イデオロギーの違いは、現在の企業と市の政策に持続的な影響をもたらしている。毛のイデオロギーを採用する市長が統治する市に所在する企業は、鄧のそれに比べ、より多くの社会的貢献を行い、社内の賃金格差を低め、国際化をそれほど追求しなかった。この効果は政治的つながりのある企業、国の所有分が少ない企業、政府補助金の多い企業、および、かつての「革命の拠点」ではなく、より市場志向的な地域ほど強かった。我々の結果は、回帰の不連続性以外の様々なペアの固定効果のあるOLS回帰について頑健であった。我々はまた、毛のイデオロギーが促進した企業政策は企業の成長の遅さと結び付いていると共に、より多くのステークホルダーへの奉仕と結び付いていることを見い出した。

ワシントンコンセンサスは効く

少し前に「ベーカー仮説」というネオリベ的な改革の効能を評価した論文を紹介したが、ワシントンコンセンサスの効能を改めて評価した同趣旨のJournal of Comparative Economics論文をタイラー・コーエンが紹介している。論文のタイトルは「The Washington Consensus Works: Causal Effects of Reform, 1970-2015」で、著者はテキサス工科大のKevin B.GrierとRobin M.Grier。
以下は論文の「ハイライト」。

• Sustained economic reform significantly raises real GDP per capita over a 5- to 10-year horizon.
• Despite the unpopularity of the Washington Consensus, its policies reliably raise average incomes.
• Countries that had sustained reform were 16% richer 10 years later.

（拙訳）

• 持続的な経済改革は5から10年の期間において一人当たり実質GDPを有意に引き上げる。
• ワシントンコンセンサスは不人気だが、その政策は平均所得を確実に引き上げる。
• 持続的な改革を実施した国は10年後に16%裕福度が増す。

以下は論文の要旨。

Traditional policy reforms of the type embodied in the Washington Consensus have been out of academic fashion for decades. However, we are not aware of a paper that convincingly rejects the efficacy of these reforms. In this paper, we define generalized reform as a discrete, sustained jump in an index of economic freedom, whose components map well onto the points of the old consensus. We identify 49 cases of generalized reform in our dataset that spans 141 countries from 1970 to 2015. The average treatment effect associated with these reforms is positive, sizeable, and significant over 5- and 10- year windows. The result is robust to different thresholds for defining reform and different estimation methods. We argue that the policy reform baby was prematurely thrown out with the neoliberal bathwater.
（拙訳）
ワシントンコンセンサスに体化されたような従来型の政策改革は、ここ数十年は学界で流行遅れとなっている。しかし、こうした改革の効果を納得の行く形で棄却した論文は寡聞にして知らない。本稿で我々は、経済自由度指数の不連続で持続的な飛躍として総合的な改革を定義した。同指数の構成要素は古きコンセンサスのポイントに良く当てはまる。我々は、1970年から2015年に掛けての141ヶ国を対象とした我々のデータセットにおいて、49の総合的な改革の事例を識別した。それらの改革と関連する平均処置効果は、5から10年のウインドウにおいて、プラスであり、かなり大きく、かつ有意であった。この結果は、改革を定義する別の基準、および、別の推計手法について頑健であった。我々は、政策改革という赤ん坊はネオリベの風呂水と一緒に時期尚早に流されてしまった、と論じる。

なお、コーエンは論文の紹介エントリの最後に、このGrier夫妻を引き合わせたのは自分だ、と書いている。ちなみに夫のKevin B.Grierは、本ブログでも何回か取り上げたこちらのブログのAngusである。