[论文解读] Runaway Feedback Loops in Predictive Policing

Danielle Ensign, Sorelle A. Friedler+3 more|arXiv (Cornell University)|Jun 29, 2017

Digital Media Forensic Detection被引用 122

一句话总结

该论文用基于罐的强化模型来预测警务，以解释失控的反馈循环，并提出学习真实犯罪率并减轻偏见的黑箱干预。它提供理论、实证和实践性对策，确保在存在反馈的情况下仍能学习到准确的犯罪率。

ABSTRACT

Predictive policing systems are increasingly used to determine how to allocate police across a city in order to best prevent crime. Discovered crime data (e.g., arrest counts) are used to help update the model, and the process is repeated. Such systems have been empirically shown to be susceptible to runaway feedback loops, where police are repeatedly sent back to the same neighborhoods regardless of the true crime rate. In response, we develop a mathematical model of predictive policing that proves why this feedback loop occurs, show empirically that this model exhibits such problems, and demonstrate how to change the inputs to a predictive policing system (in a black-box manner) so the runaway feedback loop does not occur, allowing the true crime rate to be learned. Our results are quantitative: we can establish a link (in our model) between the degree to which runaway feedback causes problems and the disparity in crime rates between areas. Moreover, we can also demonstrate the way in which \emph{reported} incidents of crime (those reported by residents) and \emph{discovered} incidents of crime (i.e. those directly observed by police officers dispatched as a result of the predictive policing algorithm) interact: in brief, while reported incidents can attenuate the degree of runaway feedback, they cannot entirely remove it without the interventions we suggest.

研究动机与目标

• 激发并形式化当预测警务使用自身输出来收集数据时，反馈循环如何产生。
• 建立基于罐的数学模型以解释在部署决策下发现数据与报告数据的动态。
• 提供可以黑箱方式应用的干预措施，以减缓失控的反馈并学习真实的犯罪率。
• 量化反馈引发的差异与区域之间实际犯罪率差异之间的关系。

提出的方法

• 使用广义的波利亚罐来建模两个区域的预测警务，其中两种颜色代表区域A和区域B。
• 推导捕捉发现事件输入和报告事件输入的置换矩阵，并利用Renlund (2010) 的结果分析其不动点。
• 引入一种改进策略，通过对观测进行采样来纠正反馈，并与Thompson-Horvitz风格的重加权相关联。
• 分析均匀和非均匀犯罪率的情形，以展示在何种条件下反馈会导致错误的部署。
• 引入衰减以建模有限记忆，并使用真实数据（奥克兰）进行仿真，以验证失控的反馈和改进策略。
• 展示对PredPol输入的黑箱修改以对抗偏见，而不改变内部算法。

实验结果

研究问题

• RQ1 预测警务的反馈循环会导致系统收敛到区域特定的错误犯罪率吗？
• RQ2 输入层级（黑箱）修改是否能对抗失控的反馈并实现学习真实的犯罪率？
• RQ3 发现事件与报告事件如何影响部署决策的动态和偏差？
• RQ4 反馈引起的误差与区域间犯罪率差异之间的定量关系是什么？

主要发现

• 失控的反馈循环可能导致部署集中在犯罪率较高的区域，即使真实率相近。
• 基于对发现事件的选择性纳入的改进策略可以引导罐学习真实犯罪率，在仅发现事件输入和所有事件输入两种情形下均适用。
• 同时考虑发现和报告事件需要调整输入的权重，以避免对未访问区域的权重过低。
• 在采用改进策略的前提下，基于奥克兰数据的实证仿真中，罐收敛于真实的相对犯罪率。
• 黑箱输入筛选可以缓解PredPol的偏见，使部署与实际犯罪率对齐。
• 该研究量化了反馈强度与区域间犯罪率差异之间的关系，并基于罐模型分析提供了实际可行的对策。