[论文解读] The Case for Temporal Transparency: Detecting Policy Change Events in Black-Box Decision Making Systems

Miguel Ferreira, Muhammad Bilal Zafar+1 more|arXiv (Cornell University)|Oct 31, 2016

Data Stream Mining Techniques参考文献 10被引用 3

一句话总结

本文提出时间透明性作为一种新颖方法，通过利用时间序列变点检测技术，检测黑箱决策系统中的政策变化。基于NYPD拦截搜查数据的贝叶斯方法表明，该框架Tetra能够识别出已宣布和未宣布的政策转变，包括2013年因未公开的政策调整导致日均拦截次数下降10%。

ABSTRACT

Bringing transparency to black-box decision making systems (DMS) has been a topic of increasing research interest in recent years. Traditional active and passive approaches to make these systems transparent are often limited by scalability and/or feasibility issues. In this paper, we propose a new notion of black-box DMS transparency, named, temporal transparency, whose goal is to detect if/when the DMS policy changes over time, and is mostly invariant to the drawbacks of traditional approaches. We map our notion of temporal transparency to time series changepoint detection methods, and develop a framework to detect policy changes in real-world DMS's. Experiments on New York Stop-question-and-frisk dataset reveal a number of publicly announced and unannounced policy changes, highlighting the utility of our framework.

研究动机与目标

• 解决传统功能透明度和操作透明度在黑箱决策系统（DMS）中的局限性。
• 提出时间透明性作为补充方法，专注于检测DMS政策随时间变化的时机与方式。
• 实现对未宣布或隐蔽政策变化的检测，这些变化可能在其他情况下被忽视。
• 在主动或被动透明方法失效的情况下，提供一种可扩展且可行的替代方案，尤其适用于执法等高风险现实系统。
• 通过识别关键时间点——政策变化事件——为未来的透明度工作提供指导。

提出的方法

• 将贝叶斯变点检测方法适配于建模随时间推移的决策行为变化。
• 使用DMS的输入-输出对时间序列，检测底层策略函数 $f_{\mathrm{DMS}}$ 的结构性变化。
• 应用统计模型，假设变点前后观测值来自不同分布。
• 通过识别输出模式的突然变化（而输入保持相对稳定）来检测变点。
• 在2006至2013年期间的真实NYPD拦截搜查数据上验证该框架。
• 将分析扩展至多变量特征（如拦截率和逮捕率），以检测协调一致的政策变化。

实验结果

研究问题

• RQ1 当传统透明方法失效时，时间透明性是否能够检测黑箱决策系统中的政策变化？
• RQ2 贝叶斯变点检测在识别实际操作DMS日志中的现实政策变化方面效果如何？
• RQ3 检测到的政策变化中，有多少比例是公开宣布的，又有多少是未宣布的？
• RQ4 对DMS输出的多变量分析能否揭示超出简单拦截频率变化的系统性政策变化？
• RQ5 外部事件（如自然灾害、抗议活动）在多大程度上能解释检测到的政策变化事件？

主要发现

• 框架Tetra在2006至2013年NYPD拦截搜查数据中检测到31个变点，包括季节性模式和外部事件驱动的转变。
• 六个变点与外部事件相关，如2012年10月29日的飓风桑迪和2011年9月22日的占领华尔街运动。
• 2012年3月26日NYPD宣布的政策调整（因高影响区域人员增加导致拦截减少）被成功检测并验证。
• 2013年检测到三次未宣布的政策变化，导致全年日均拦截次数下降90%，与政治和法律压力时间吻合。
• 拦截频率和逮捕率的变点高度相关，表明是系统性政策转变，而非仅操作性波动。
• 该框架成功识别出政治敏感期间的未宣布变化，凸显其在监督与问责方面的实用价值。