[论文解读] Wrong side of the tracks: Big Data and Protected Categories

Simon DeDeo|arXiv (Cornell University)|Dec 15, 2014

Adversarial Robustness in Machine Learning参考文献 15被引用 11

一句话总结

本文通过展示机器学习模型如何因数据中存在强烈相关性而无意中基于受保护类别（例如种族、性别）做出决策，解决了大数据中算法歧视的伦理挑战。它提出使用信息论方法，在最小化准确率损失的前提下，使预测与受保护变量去相关，同时倡导未来开发具备因果意识的算法，以确保自动化决策中的伦理透明度和民主问责制。

ABSTRACT

When we use machine learning for public policy, we find that many useful variables are associated with others on which it would be ethically problematic to base decisions. This problem becomes particularly acute in the Big Data era, when predictions are often made in the absence of strong theories for underlying causal mechanisms. We describe the dangers to democratic decision-making when high-performance algorithms fail to provide an explicit account of causation. We then demonstrate how information theory allows us to degrade predictions so that they decorrelate from protected variables with minimal loss of accuracy. Enforcing total decorrelation is at best a near-term solution, however. The role of causal argument in ethical debate urges the development of new, interpretable machine-learning algorithms that reference causal mechanisms.

研究动机与目标

• 识别大数据算法如何依赖于受保护类别（如种族、性别或社会经济地位）的关联性，从而导致伦理上存在问题的决策。
• 证明即使准确且出于良好意图的算法，若缺乏因果透明性，也可能持续或加剧歧视。
• 提出一种近期可行的技术解决方案——基于信息论的去相关方法，以在不显著损失预测准确率的前提下减少对受保护变量的依赖。
• 倡导开发可解释、具备因果推理能力的机器学习模型，以支持政策与治理中的伦理和民主化决策。
• 强调需要算法透明化，并通过‘打开算法黑箱’促进公众辩论，使人们能够审查自动化系统中隐藏的假设和道德推理。

提出的方法

• 使用信息论数学降级预测，使其与受保护变量去相关，同时最小化准确率损失。
• 将‘结果均等化’作为极限情况应用，以评估消除与受保护变量相关性的影响。
• 提出贡献传播和贝叶斯列表机器作为新兴技术，用于逆向工程算法中隐含的因果模型。
• 采用因果推理框架，评估算法决策是否符合伦理规范，特别是在量刑或贷款等情境中。
• 提出一种方法，强制使预测与受保护属性在统计上独立，同时保持预测性能。
• 呼吁企业与政府机构承诺公开其算法的关键特征，以支持公众与专家的审查。

实验结果

研究问题

• RQ1 即使未显式使用这些变量，机器学习模型如何因数据相关性而无意中基于受保护类别（如种族、性别）做出决策？
• RQ2 在使模型输出与受保护变量（如种族或性别）去相关的同时，预测准确率能在多大程度上得以保持？
• RQ3 可采用哪些数学与计算方法来逆向工程嵌入在不透明算法中的隐含因果模型？
• RQ4 高性能算法缺乏因果解释，如何削弱民主审议与伦理问责制？
• RQ5 信息论方法在何种方式上可作为实现更透明、更合乎伦理的算法决策的桥梁？

主要发现

• 受保护类别（如种族、性别）与非受保护变量（如购物习惯、用电量）之间的强相关性，即使未在模型中显式使用，也可能导致间接歧视。
• 基于信息论的去相关方法可使预测与受保护变量独立，同时仅造成最小的准确率损失，为算法偏见提供一种实用的近期解决方案。
• 结果均等化方法作为极限情况，揭示了模型预测对受保护属性的依赖程度，突显了有问题的相关性。
• 当前高性能算法通常无法提供因果解释，使得难以判断决策是否伦理上可接受，还是仅在统计上方便。
• 缺乏透明度将使关于公平与公正的民主辩论成为不可能，因为公民与政策制定者无法审查塑造公共政策的模型。
• 开发可解释、具备因果推理能力的机器学习模型（如贡献传播和贝叶斯列表机器）为实现伦理、透明且可问责的算法系统提供了可行路径。