[论文解读] Questioning the assumptions behind fairness solutions

Rebekah Overdorf, Bogdan Kulynych+3 more|arXiv (Cornell University)|Nov 27, 2018

Ethics and Social Impacts of AI参考文献 21被引用 16

一句话总结

本文通过质疑机器学习中公平性解决方案的基础假设，指出服务提供商（OSPs）往往缺乏实施公平性优化的激励或手段，从而导致有害的外部性。为此，本文提出保护性优化技术（POTs）——一种由用户和环境驱动的外部防御机制，利用数据投毒、输入操纵和对抗性技术，从系统外部抵消极极影响，以减轻偏见与剥削。

ABSTRACT

In addition to their benefits, optimization systems can have negative economic, moral, social, and political effects on populations as well as their environments. Frameworks like fairness have been proposed to aid service providers in addressing subsequent bias and discrimination during data collection and algorithm design. However, recent reports of neglect, unresponsiveness, and malevolence cast doubt on whether service providers can effectively implement fairness solutions. These reports invite us to revisit assumptions made about the service providers in fairness solutions. Namely, that service providers have (i) the incentives or (ii) the means to mitigate optimization externalities. Moreover, the environmental impact of these systems suggests that we need (iii) novel frameworks that consider systems other than algorithmic decision-making and recommender systems, and (iv) solutions that go beyond removing related algorithmic biases. Going forward, we propose Protective Optimization Technologies that enable optimization subjects to defend against negative consequences of optimization systems.

研究动机与目标

• 质疑服务提供商（OSPs）具备有效实施公平性解决方案的激励或手段这一假设。
• 揭示优化系统产生的有害外部性（如环境损害、用户剥削和边缘化）超出传统公平性框架的覆盖范围。
• 论证当前的公平性方法未能解决诸如分布偏移、非用户排除和环境退化等系统性问题。
• 提出一类新型防御机制——保护性优化技术（POTs），使受影响的个人和社区能够从外部干预以对抗优化带来的危害。
• 倡导不完全依赖OSPs的新型信任模型，转而赋予终端用户和环境以能力，以抵消极极的优化结果。

提出的方法

• 提出保护性优化技术（POTs）作为外部防御机制，使用户和社区能够在不修改底层算法的前提下，影响或改变优化系统的结果。
• 建模优化系统对人群和环境的影响，识别关键外部性，如非用户排除、不公平的用户优先级分配以及环境风险的外部化。
• 利用对抗性机器学习技术对训练数据进行投毒，或设计替代性输入，以促使系统行为向更公平的方向转变。
• 借鉴现实案例（如Waze路线操纵、Uber动态加价共谋，以及Adnauseam等广告点击插件）以启发正式POT设计。
• 整合隐私增强技术（PETs）以及现有对抗性用户行为研究的洞见，以指导稳健、以用户为中心的防御机制设计。
• 强调对系统与环境交互的全面建模，以确保POTs能够考虑动态的现实反馈回路及意外后果。

实验结果

研究问题

• RQ1 为何当前的公平性解决方案无法解决优化系统产生的外部性，尤其是在服务提供商缺乏激励或手段采取行动时？
• RQ2 当用户和社区未被纳入系统的设计或数据中时，他们如何防御有害的优化结果？
• RQ3 在不修改核心算法的前提下，有哪些可行的技术机制可实现对优化系统的外部干预？
• RQ4 现有用户层面的反制策略（如虚假交通报告、广告点击插件）如何为形式化、可扩展的保护性优化技术设计提供启示？
• RQ5 如何构建新型信任模型，将责任从服务提供商转移至被赋能的终端用户和社区，以减轻优化带来的危害？

主要发现

• 服务提供商往往缺乏激励或机制来实施公平性解决方案，如Waze将车辆引导至住宅区，Facebook为增加收入而人为提升用户观看时长。
• 优化系统会产生显著的外部性，包括环境损害、非用户被边缘化，以及风险被转嫁给用户和社区。
• 传统公平性方法无法解决系统性问题，如分布偏移——即模型在训练域外部署时性能下降。
• 现实中的用户反制策略（如社区交通报告、广告点击插件）表明，外部的、用户驱动的干预可有效改变系统行为。
• 保护性优化技术（POTs）通过数据投毒、输入操纵和对抗性技术，为用户影响系统结果提供了切实可行的路径。
• POTs的开发需要从以提供商为中心的信任模型，转向以用户和环境为中心的模型，以充分考虑现实世界的复杂性及意外后果。