[论文解读] Strategic Classification with a Light Touch: Learning Classifiers that Incentivize Constructive Adaptation

Yatong Chen, Jialu Wang+1 more|arXiv (Cornell University)|Oct 31, 2020

Reinforcement Learning in Robotics参考文献 17被引用 7

一句话总结

本文提出了一种博弈论框架，用于训练分类器，以激励个体以建设性而非操纵性的方式调整其特征，将预测与适应建模为两阶段博弈。实证结果表明，即使在模型误设的情况下，该方法仍能提升模型性能与泛化能力。

ABSTRACT

Machine learning systems are often deployed in settings where individuals are able to adapt their features to obtain a specific predicted outcome. This kind of strategic behavior leads to a sharp loss in model performance in deployment. In this work, we aim to address this problem by learning classifiers that incentivize their decision subjects to change their features in a way that benefits all parties. We frame the dynamics of prediction and adaptation as a two-stage game and characterize equilibrium strategies for the model owner and its decision subjects. We benchmark our method on simulated and real-world datasets to demonstrate how it can be used to incentivize improvement or discourage adversarial manipulation. Our empirical results show that our method outperforms existing approaches, even when our assumptions may be misspecified.

研究动机与目标

• 解决机器学习系统中因个体策略行为导致的模型性能下降问题，即个体通过调整特征来影响预测结果。
• 设计分类器，使个体激励与有益的特征变化保持一致，从而促进个体与系统层面性能的共同提升。
• 将模型所有者与决策主体之间的互动建模为两阶段博弈，刻画双方的均衡策略。
• 在模拟数据集与真实世界数据集上评估该方法，证明其对模型误设的鲁棒性，并优于现有方法。

提出的方法

• 将策略分类问题建模为两阶段博弈：首先，模型所有者设计分类器；其次，个体战略性地调整其特征以改善预测结果。
• 将个体适应建模为效用最大化问题，即主体通过改变特征以改善其结果，同时受成本函数约束，以惩罚不希望的改变。
• 通过博弈论分析推导出模型所有者与决策主体的均衡策略，确保分类器能激励建设性适应。
• 使用可微分目标函数学习分类器，该目标函数整合了个体预测的均衡行为，支持端到端训练。
• 采用轻量化方法，避免对微小但有益的改变施加过度惩罚，转而聚焦于促进对各方均有利的改进。

实验结果

研究问题

• RQ1 如何设计分类器，以激励个体以有益于自身和模型的方式改进其特征？
• RQ2 在模型所有者与策略性决策主体之间的两阶段博弈中，会涌现出何种均衡策略？
• RQ3 当对个体行为的假设存在误设时，分类器能否在策略适应下仍保持性能？
• RQ4 与现有方法相比，该方法在模型准确率和抗操纵鲁棒性方面表现如何？

主要发现

• 即使在对个体行为的底层假设存在误设的情况下，该方法在策略适应下仍优于现有方法，保持了模型性能。
• 分类器成功激励个体对其特征进行建设性调整，从而提升了整体系统性能。
• 在模拟数据集与真实世界数据集上的实证结果表明，该方法泛化能力强，且在实际部署中保持了高预测准确率。
• 博弈论均衡分析使分类器设计能够对齐个体激励与集体利益，从而减少对抗性操纵。