[论文解读] Predicting the Behavior of the Supreme Court of the United States: A General Approach

Daniel Katz, Michael James Bommarito+1 more|arXiv (Cornell University)|Jul 23, 2014

Judicial and Constitutional Studies被引用 32

一句话总结

本文首次提出了一种稳健、通用且完全可预测的美国最高法院投票行为模型，采用极端随机森林算法与创新的特征工程。该模型在预测肯定/推翻判决方面达到69.7%的准确率，在预测7,700起案件（1953–2013年）中单个大法官的投票行为方面达到70.9%的准确率，实现了定量法律预测的重大进展，并展现出强大的样本外有效性。

ABSTRACT

Building upon developments in theoretical and applied machine learning, as well as the efforts of various scholars including Guimera and Sales-Pardo (2011), Ruger et al. (2004), and Martin et al. (2004), we construct a model designed to predict the voting behavior of the Supreme Court of the United States. Using the extremely randomized tree method first proposed in Geurts, et al. (2006), a method similar to the random forest approach developed in Breiman (2001), as well as novel feature engineering, we predict more than sixty years of decisions by the Supreme Court of the United States (1953-2013). Using only data available prior to the date of decision, our model correctly identifies 69.7% of the Court's overall affirm and reverse decisions and correctly forecasts 70.9% of the votes of individual justices across 7,700 cases and more than 68,000 justice votes. Our performance is consistent with the general level of prediction offered by prior scholars. However, our model is distinctive as it is the first robust, generalized, and fully predictive model of Supreme Court voting behavior offered to date. Our model predicts six decades of behavior of thirty Justices appointed by thirteen Presidents. With a more sound methodological foundation, our results represent a major advance for the science of quantitative legal prediction and portend a range of other potential applications, such as those described in Katz (2013).

研究动机与目标

• 开发一个通用、稳健且完全可预测的最高法院投票行为模型，能够实现样本外验证。
• 克服以往模型的局限性，这些模型大多仅具解释性或缺乏严格的样本外测试。
• 为使用机器学习进行定量法律预测提供方法论坚实的基础。
• 仅基于判决前的数据，同时预测整体案件结果（肯定/推翻）和单个大法官的投票行为。
• 探索单个大法官的时序可预测性，以及投票结构对模型性能的影响。

提出的方法

• 采用极端随机树（Extra-Trees）算法，该算法是随机森林的一种变体，通过在特征选择和分割点上引入额外随机性。
• 仅使用每个案件判决日期之前可获得的数据，确保真正的样本外预测。
• 应用创新的特征工程，编码与案件结果相关的法律、制度和意识形态变量。
• 基于1953年至2013年间的7,700起案件和超过68,000名大法官的投票行为进行训练，涵盖由13位总统任命的30名大法官。
• 使用时间序列交叉验证评估模型在不同时间段的预测准确率。
• 按大法官、年份和投票结构（例如9-0与5-4）分析模型性能，以评估其稳定性与条件准确率。

实验结果

研究问题

• RQ1 能否仅使用判决前的数据，通过机器学习模型准确预测美国最高法院的肯定/推翻判决？
• RQ2 在多个任期和不同意识形态取向的背景下，个体大法官的投票行为能被多好地预测？
• RQ3 模型性能是否系统性地因投票结构（例如全体一致与分裂判决）而异？
• RQ4 个体大法官的可预测性随时间是否稳定？哪些大法官最易/最难预测？
• RQ5 模型在预测被肯定的判决时的失败，在多大程度上反映了模型本身的局限性，或体现了法院行为中潜在的结构性因素？

主要发现

• 该模型在1953年至2013年间的7,700起案件中，对最高法院整体肯定或推翻判决的预测准确率达到69.7%。
• 该模型对超过68,000名大法官投票行为的预测准确率达到70.9%，在个体层面展现出强大的预测能力。
• 道格拉斯、布伦南和托马斯等大法官更具可预测性，而哈兰、弗兰德勒和伯顿等大法官则显著更难预测。
• 对大多数大法官而言，可预测性在时间上总体保持稳定，但在威廉·伦奎斯特于1986年升任首席大法官后，性能明显下降。
• 模型在9-0判决中表现最佳（无论肯定或推翻），随着司法分歧增加，准确率下降，尤其在5-4的分裂判决中更为显著。
• 该模型在预测被肯定的判决时面临显著挑战——在某些年份中，正确预测率不足25%，表明持续存在预测共识性肯定判决的难题。