[论文解读] Strategic Classification from Revealed Preferences

Jinshuo Dong, Aaron Roth+3 more|arXiv (Cornell University)|Oct 22, 2017

Advanced Bandit Algorithms Research参考文献 19被引用 6

一句话总结

本文提出了一种计算高效的在线学习算法，用于策略分类问题，其中学习者仅能观测到被操纵的特征（即揭示的偏好），而对代理的真实特征或成本函数一无所知。在操纵成本函数满足温和条件的前提下，通过损失函数的凸性，该算法实现了递减的 Stackelberg 损失，即使代理对分类器进行最优响应，也能确保收敛至接近最优的性能。

ABSTRACT

We study an online linear classification problem, in which the data is generated by strategic agents who manipulate their features in an effort to change the classification outcome. In rounds, the learner deploys a classifier, and an adversarially chosen agent arrives, possibly manipulating her features to optimally respond to the learner. The learner has no knowledge of the agents' utility functions or "real" features, which may vary widely across agents. Instead, the learner is only able to observe their "revealed preferences" --- i.e. the actual manipulated feature vectors they provide. For a broad family of agent cost functions, we give a computationally efficient learning algorithm that is able to obtain diminishing "Stackelberg regret" --- a form of policy regret that guarantees that the learner is obtaining loss nearly as small as that of the best classifier in hindsight, even allowing for the fact that agents will best-respond differently to the optimal classifier.

研究动机与目标

• 解决学习者缺乏对代理真实特征和操纵成本知识的策略分类问题。
• 将学习过程建模为一种迭代在线过程，其中仅可观测到被操纵的特征向量（即揭示的偏好）。
• 设计一种学习算法，以最小化 Stackelberg 损失——一种考虑代理策略最优响应的政策损失度量。
• 建立在何种条件下，尽管存在策略性操纵，学习者的损失函数仍保持凸性。
• 即使代理是对抗性选择或非独立同分布（i.i.d.）的，也能实现收敛至 Stackelberg 均衡。

提出的方法

• 学习者在每一轮中部署一个分类器，并仅观测到代理的被操纵特征向量，而无法获知真实特征或成本函数。
• 该算法利用揭示的偏好（即最优响应行为）来迭代更新分类器，而无需显式知晓代理的效用函数。
• 关键技术洞见是：若成本函数为凸且关于度数 r > 1 的正齐次函数，则函数 β ↦ ⟨β, x̂(β)⟩ 为凸函数，从而确保损失函数的凸性。
• 论文应用凸共轭分析与次梯度理论，证明最优响应映射可产生一个定义良好且凸的目标函数。
• 论文证明，在这些条件下，逻辑回归和合页损失在 β 上均为凸函数，从而可通过标准凸优化求解器实现高效优化。
• 该算法实现了递减的 Stackelberg 损失，意味着其平均损失趋近于事后最优固定分类器的损失，且已考虑策略性行为的影响。

实验结果

研究问题

• RQ1 在何种操纵成本函数条件下，学习者的损失函数在代理策略性响应下仍保持凸性？
• RQ2 当仅可观测到揭示的偏好（即被操纵的特征）且代理效用未知时，学习算法能否实现递减的 Stackelberg 损失？
• RQ3 在代理对分类器进行最优响应的策略环境中，如何对学习者的政策损失进行有界控制？
• RQ4 对成本函数的何种结构假设可确保最优响应映射产生一个定义良好且凸的目标函数？
• RQ5 该框架能否在代理被对抗性选择或数据非 i.i.d. 的情况下，仍保证收敛至 Stackelberg 均衡？

主要发现

• 本文证明，若成本函数 d(𝐱′,𝐱) = f(𝐱′−𝐱) 为凸函数且关于度数 r > 1 的正齐次函数，则函数 β ↦ ⟨β, x̂(β)⟩ 为凸且定义良好，即使存在多个最优响应也成立。
• 在此条件下，逻辑回归和合页损失均为分类器 β 的凸函数，从而支持高效优化。
• 所提出的在线学习算法实现了递减的 Stackelberg 损失，意味着其平均损失收敛至事后最优固定分类器的损失，且已考虑策略性操纵的影响。
• 即使代理是对抗性选择，或真实特征与成本函数并非来自固定分布，该结果依然成立。
• 该框架推广了以往的一次性 Stackelberg 均衡计算方法，消除了对代理效用函数完整知识的需求。
• 分析依赖于凸共轭对偶性，以及齐次凸函数的广义欧拉定理形式。