[论文解读] Stochastic Optimization for Performative Prediction

Celestine Mendler-Dünner, Juan C. Perdomo+2 more|arXiv (Cornell University)|Jun 12, 2020

Stochastic Gradient Optimization Techniques被引用 9

一句话总结

本文提出针对表现性预测的随机优化，其中模型部署会改变数据分布。文章分析了贪婪部署（每接收一个样本即更新并部署）与懒惰部署（多次更新后才部署）两种策略，证明其分别以 O(1/k) 和 O(1/k^α) 的速率收敛至表现性稳定状态，性能取决于表现性强度与部署成本。

ABSTRACT

In performative prediction, the choice of a model influences the distribution of future data, typically through actions taken based on the model's predictions. We initiate the study of stochastic optimization for performative prediction. What sets this setting apart from traditional stochastic optimization is the difference between merely updating model parameters and deploying the new model. The latter triggers a shift in the distribution that affects future data, while the former keeps the distribution as is. Assuming smoothness and strong convexity, we prove rates of convergence for both greedily deploying models after each stochastic update (greedy deploy) as well as for taking several updates before redeploying (lazy deploy). In both cases, our bounds smoothly recover the optimal $O(1/k)$ rate as the strength of performativity decreases. Furthermore, they illustrate how depending on the strength of performative effects, there exists a regime where either approach outperforms the other. We experimentally explore the trade-off on both synthetic data and a strategic classification simulator.

研究动机与目标

• 解决在线随机优化中模型部署导致数据分布变化的挑战。
• 形式化表现性预测设置下频繁部署（贪婪）与稀疏部署（懒惰）之间的权衡。
• 在损失函数的光滑性、强凸性以及分布映射的Lipschitz连续性条件下，为贪婪与懒惰部署建立理论收敛保证。
• 研究表现性强度与部署成本如何影响最优部署策略。
• 在合成数据与策略分类模拟器上实验验证理论发现。

提出的方法

• 将表现性预测建模为反馈回路：部署模型 θ 会使其诱导的数据分布变为 D(θ)，进而影响未来的风险最小化。
• 将表现性稳定定义为不动点：θ ∈ argmin_θ′ E_{z∼D(θ)} ℓ(z;θ′)，确保模型在其诱导分布上达到最优。
• 提出两种变体：贪婪部署（n(k) = 1）与懒惰部署（n(k) ≥ 1，选择为 k^α，α > 0），其中 n(k) 表示部署前的随机更新次数。
• 假设损失函数具有光滑性与强凸性，且分布映射 D(·) 在Wasserstein距离下满足Lipschitz连续性。
• 通过分析期望风险衰减推导收敛速率，证明在样本预算约束下，贪婪部署的收敛速率为 O(1/k)，懒惰部署的收敛速率为 O(1/k^α)。
• 根据理论边界校准步长，调整参数以适应表现性强度 ε 与条件数 γ/β。

实验结果

研究问题

• RQ1 在模型部署引发分布偏移的在线设置中，随机梯度方法能否收敛至表现性稳定状态？
• RQ2 在不同表现性强度下，贪婪与懒惰部署的选择如何影响收敛速度与稳定性？
• RQ3 为最小化收敛时间与部署次数，最优部署调度（即部署前的更新次数）是什么？
• RQ4 理论收敛速率如何依赖于分布映射的Lipschitz常数与损失函数的条件数？
• RQ5 理论边界是否可在合成数据与真实世界策略分类场景中得到实证验证？

主要发现

• 在光滑性、强凸性及足够Lipschitz的分布映射条件下，贪婪部署可实现 O(1/k) 的收敛速率至表现性稳定状态。
• 只要在部署之间收集 O(k^{1.1α}) 个样本，懒惰部署可对任意 α > 0 实现 O(1/k^α) 的收敛速率。
• 当表现性较弱（ε ≪ γ/β）时，由于收敛更快，贪婪部署优于懒惰部署。
• 当表现性较强（ε ≫ γ/β）时，懒惰部署显著优于贪婪部署，尤其当 α 值较大时。
• 在 ε = 100 的策略分类模拟器中，α = 1 的懒惰部署在收敛速度与部署效率上均优于贪婪部署。
• 在高表现性环境下，增大懒惰部署中的 α 值可使部署次数减少高达 90%，同时保持或提升收敛速度。