[论文解读] Regret in Online Combinatorial Optimization

Jean-Yves Audibert, Sébastien Bubeck+1 more|arXiv (Cornell University)|Apr 20, 2012

Advanced Bandit Algorithms Research参考文献 23被引用 5

一句话总结

本文研究了在线组合优化中的遗憾问题，其中动作是固定汉明权重的二值向量。通过新颖地结合镜面下降（Mirror Descent）与INF策略，该文在半-bandit反馈模型下建立了最优遗憾界；同时表明在全信息设置下，指数加权平均预测器（exponentially weighted average forecaster）是次优的，并对bandit设置下的最优遗憾提出了猜想。

ABSTRACT

We address online linear optimization problems when the possible actions of the decision maker are represented by binary vectors. The regret of the decision maker is the difference between her realized loss and the best loss she would have achieved by picking, in hindsight, the best possible action. Our goal is to understand the magnitude of the best possible (minimax) regret. We study the problem under three different assumptions for the feedback the decision maker receives: full information, and the partial information models of the so-called "semi-bandit" and "bandit" problems. Combining the Mirror Descent algorithm and the INF (Implicitely Normalized Forecaster) strategy, we are able to prove optimal bounds for the semi-bandit case. We also recover the optimal bounds for the full information setting. In the bandit case we discuss existing results in light of a new lower bound, and suggest a conjecture on the optimal regret in that case. Finally we also prove that the standard exponentially weighted average forecaster is provably suboptimal in the setting of online combinatorial optimization.

研究动机与目标

• 理解在二值动作具有固定基数的在线线性优化中的最小最大遗憾。
• 分析在组合设定下，全信息、半-bandit和bandit反馈模型之间的性能差距。
• 评估现有预测策略（尤其是指数加权平均预测器）的最优性。
• 通过混合镜面下降-INF方法，首次为半-bandit模型建立最优遗憾界。
• 基于新的下界，提出bandit反馈模型下最优遗憾的猜想。

提出的方法

• 采用在线线性优化框架，动作属于{0,1}^d且l1-范数固定为m。
• 分析三种反馈模型：全信息（观察z_t）、半-bandit（观察a_t(i)z_t(i)）和bandit（观察a_t^T z_t）。
• 应用带Bregman散度的镜面下降来设计适应反馈结构的策略。
• 将镜面下降与INF（隐式归一化预测器）策略结合，实现在半-bandit模型下的最优遗憾。
• 为bandit设置推导新的下界，以评估现有上界紧致性。
• 使用Kullback-Leibler散度和集中不等式分析遗憾及分布间的差异。

实验结果

研究问题

• RQ1 在全信息反馈下，指数加权平均预测器是否对在线组合优化最优？
• RQ2 是否存在统一策略，可在组合动作的半-bandit反馈模型中实现最优遗憾？
• RQ3 在bandit反馈模型下，对固定权重动作的组合优化，可实现的最小最大遗憾是多少？
• RQ4 反馈结构（全信息、半-bandit、bandit）如何影响组合在线学习中遗憾的根本极限？
• RQ5 bandit模型的新下界是否有助于识别最优遗憾的标度？

主要发现

• 在全信息设置下，指数加权平均预测器在在线组合优化中被证明是次优的。
• 通过混合镜面下降-INF策略，首次为半-bandit模型建立了最优遗憾界。
• 半-bandit模型的遗憾界为O(√(m n log d))，其中n为轮次，d为维度，动作大小为m。
• 为bandit模型推导的新下界表明，最优遗憾可能按Ω(√(m n log d))标度增长，与已知上界仅相差对数因子。
• 本文猜想bandit模型下的最优遗憾为Θ(√(m n log d))，与下界及现有上界一致。