[论文解读] The Online Saddle Point Problem and Online Convex Optimization with Knapsacks

Adrian Rivera, He Wang+1 more|arXiv (Cornell University)|Jun 21, 2018

Advanced Bandit Algorithms Research参考文献 58被引用 10

一句话总结

本文引入了在线鞍点（OSP）问题，这是在线凸优化（OCO）的推广，涉及零和凸-凹博弈中的两名玩家。提出了SP-FTL算法，在一般情况下实现$\tilde{O}(\sqrt{T})$的SP-Regret，在强凸-凹情况下实现$O(\log T)$，并将其应用于在线凸优化带背包问题（OCOwK），其中对偶方法实现了$O(\sqrt{T})$的遗憾。

ABSTRACT

We study the online saddle point problem, an online learning problem where at each iteration a pair of actions need to be chosen without knowledge of the current and future (convex-concave) payoff functions. The objective is to minimize the gap between the cumulative payoffs and the saddle point value of the aggregate payoff function, which we measure using a metric called "SP-Regret". The problem generalizes the online convex optimization framework but here we must ensure both players incur cumulative payoffs close to that of the Nash equilibrium of the sum of the games. We propose an algorithm that achieves SP-Regret proportional to $\sqrt{\ln(T)T}$ in the general case, and $\log(T)$ SP-Regret for the strongly convex-concave case. We also consider the special case where the payoff functions are bilinear and the decision sets are the probability simplex. In this setting we are able to design algorithms that reduce the bounds on SP-Regret from a linear dependence in the dimension of the problem to a extit{logarithmic} one. We also study the problem under bandit feedback and provide an algorithm that achieves sublinear SP-Regret. We then consider an online convex optimization with knapsacks problem motivated by a wide variety of applications such as: dynamic pricing, auctions, and crowdsourcing. We relate this problem to the online saddle point problem and establish $O(\sqrt{T})$ regret using a primal-dual algorithm.

研究动机与目标

• 为了形式化并分析在线鞍点（OSP）问题，其中两名玩家在一系列凸-凹博弈中依次选择动作，且事先不知道收益函数。
• 定义并最小化SP-Regret，衡量累积收益与聚合博弈鞍点值之间的差距。
• 建立现有OCO算法在OSP设置中的基本局限性，表明子线性个体遗憾并不意味着子线性SP-Regret。
• 通过拉格朗日对偶性和对偶方法，将OSP框架扩展到在线凸优化带背包（OCOwK）问题。
• 设计并评估算法——SP-FTL和OGDA——在完整反馈和部分反馈（bandit）设置下的表现，证明其具有子线性SP-Regret。

提出的方法

• SP-FTL算法基于收益函数的完整历史记录，在两名玩家的联合动作空间中采用跟随领先者策略选择动作。
• 在单纯形决策集的双线性情况下，通过利用拉格朗日对偶中的结构，实现对维度的对数依赖。
• 对OCOwK问题应用对偶-原始算法，通过在线梯度上升将背包约束转化为对偶变量更新。
• 通过使用随机扰动估计梯度来处理部分反馈，实现在无需完整函数知识的情况下实现子线性SP-Regret。
• 理论分析采用遗憾分解和强凸性假设，推导出SP-Regret的上界，包括$\tilde{O}(\sqrt{T})$和$O(\log T)$。
• 数值验证在25次运行中比较了SP-FTL和OGDA在OCOwK实例上的表现，以总收益与最优基准的比值作为性能度量。

实验结果

研究问题

• RQ1 尽管现有OCO算法在OSP问题中实现了子线性个体遗憾，是否也能实现子线性SP-Regret？
• RQ2 在一般凸-凹OSP设置下，可实现的最优SP-Regret上界是什么？其如何依赖于问题结构？
• RQ3 如何将OSP框架应用于OCOwK问题？通过对偶方法可实现何种遗憾上界？
• RQ4 在单纯形约束的双线性情况下，SP-Regret能否从线性依赖维度降低为对数依赖？
• RQ5 在OSP设置下，部分反馈（bandit）中可实现何种性能保证？

主要发现

• SP-FTL算法在一般凸-凹OSP问题中实现了$\tilde{O}(\sqrt{T})$的SP-Regret，优于以往基于OCO的方法。
• 在强凸-凹情况下，SP-FTL实现了$O(\log T)$的SP-Regret，表现出更快的收敛速度。
• 任何具有$o(T)$个体遗憾的OCO算法在最坏情况下可能产生$\tilde{O}(T)$的SP-Regret，揭示了OCO在OSP设置中的根本局限性。
• 对于具有单纯形决策集的双线性收益函数，SP-Regret在维度上呈对数依赖，相比一般情况下的线性依赖显著降低。
• 在部分反馈下，所提算法实现了子线性SP-Regret，将框架扩展至完整信息之外的场景。
• 在OCOwK应用中，对偶-原始方法实现了$O(\sqrt{T})$的遗憾，数值结果证实OGDA在收敛速度上优于SP-FTL，尽管初始性能较差。