[论文解读] Watch and Learn: Optimizing from Revealed Preferences Feedback

Aaron Roth, Jonathan Ullman+1 more|arXiv (Cornell University)|Apr 4, 2015

Advanced Bandit Algorithms Research参考文献 26被引用 5

一句话总结

本文提出了一种新颖的算法框架，用于求解领导者仅通过揭示偏好反馈（即观察到追随者对其所选行动的最佳响应）来优化其策略的Stackelberg博弈，而无需知晓追随者的效用函数。尽管目标函数是非凸的，作者通过零阶优化和鲁棒估计技术，实现了查询复杂度为多项式的高效优化。

ABSTRACT

A Stackelberg game is played between a leader and a follower. The leader first chooses an action, then the follower plays his best response. The goal of the leader is to pick the action that will maximize his payoff given the follower's best response. In this paper we present an approach to solving for the leader's optimal strategy in certain Stackelberg games where the follower's utility function (and thus the subsequent best response of the follower) is unknown. Stackelberg games capture, for example, the following interaction between a producer and a consumer. The producer chooses the prices of the goods he produces, and then a consumer chooses to buy a utility maximizing bundle of goods. The goal of the seller here is to set prices to maximize his profit---his revenue, minus the production cost of the purchased bundle. It is quite natural that the seller in this example should not know the buyer's utility function. However, he does have access to revealed preference feedback---he can set prices, and then observe the purchased bundle and his own profit. We give algorithms for efficiently solving, in terms of both computational and query complexity, a broad class of Stackelberg games in which the follower's utility function is unknown, using only "revealed preference" access to it. This class includes in particular the profit maximization problem, as well as the optimal tolling problem in nonatomic congestion games, when the latency functions are unknown. Surprisingly, we are able to solve these problems even though the optimization problems are non-convex in the leader's actions.

研究动机与目标

• 解决在追随者效用函数未知、仅依赖于观察到的行动和结果时优化Stackelberg博弈中领导者策略的挑战。
• 为卖家在设定价格并观察消费者购买行为但未知其估值函数的场景下，开发高效的利润最大化算法。
• 将该框架扩展至具有未知时延函数的非原子非合作交通博弈中的最优收费问题，通过揭示的行为最小化社会成本。
• 克服此类设置下领导者目标函数固有的非凸性，该性质使得标准凸优化方法失效。
• 在温和的正则性条件下，为利润最大化和收费问题提供关于查询复杂度和收敛性的理论保证。

提出的方法

• 使用带零阶Oracle（ZOO）访问的投影次梯度下降法，通过追随者响应的噪声观测估计领导者期望效用的梯度。
• 引入一种鲁棒估计程序，通过平均多个追随者组合选择的噪声观测值，以近似真实最佳响应。
• 在无噪声环境下应用椭球法，通过基于观测反馈不断细化可行区域来学习最优价格或收费。
• 通过将利润表示为购买组合的函数，将学习最优价格的问题转化为基于组合的优化问题。
• 采用基于扰动的方法，估计领导者效用函数相对于其行动（如价格或收费）的梯度，从而在未显式掌握追随者效用函数的情况下实现基于梯度的优化。
• 结合ZOO与浓度不等式及联合界，确保梯度估计和最终解质量的高概率准确性。

实验结果

研究问题

• RQ1 当追随者效用函数未知但可通过观察到的行动揭示时，我们能否高效优化Stackelberg博弈中领导者策略？
• RQ2 是否可能仅使用揭示偏好反馈，在利润最大化和最优收费等非凸优化问题中实现近似最优性能？
• RQ3 在这些设置中，为以高概率学习最优价格或收费，所需的查询复杂度是多少？
• RQ4 当标准凸优化技术失效时，如何处理领导者目标函数的非凸性？
• RQ5 在何种条件下，可保证估计的最优策略以高概率收敛至真实最优策略？

主要发现

• 所提出的算法OproN以至少1−β的概率实现期望利润在最优利润的α范围内，使用Õ(d⁹.⁵/α⁴)次查询。
• 该框架成功处理了利润最大化和最优收费中的非凸目标函数，而标准凹/凸优化方法在此类问题中失效。
• 对于利润最大化问题，该算法仅需与买方进行多项式次数的交互，即可学习近似最优的定价策略。
• 该方法对观测中的噪声具有鲁棒性，误差界限通过平均和浓度不等式得到控制。
• 即使目标函数非凹也非凸，仍通过零阶优化技术建立了理论保证。
• 基于椭球的变体在无噪声环境下实现了精确学习，证明了在理想反馈条件下精确优化的可行性。