[论文解读] Regret Analysis for Continuous Dueling Bandit

Wataru Kumagai|arXiv (Cornell University)|Nov 21, 2017

Advanced Bandit Algorithms Research参考文献 8被引用 7

一句话总结

本文提出了一种用于连续对决Bandit问题的随机镜像下降算法，通过噪声成对比较，在强凸性和光滑性假设下实现了 $O(\sqrt{T\log T})$ 的遗憾边界。该研究建立了对决Bandit问题中遗憾最小化与凸优化之间的等价性，表明该算法在两种设置下几乎达到了最优收敛速率，仅相差一个对数因子。

ABSTRACT

The dueling bandit is a learning framework wherein the feedback information in the learning process is restricted to a noisy comparison between a pair of actions. In this research, we address a dueling bandit problem based on a cost function over a continuous space. We propose a stochastic mirror descent algorithm and show that the algorithm achieves an $O(\sqrt{T\log T})$-regret bound under strong convexity and smoothness assumptions for the cost function. Subsequently, we clarify the equivalence between regret minimization in dueling bandit and convex optimization for the cost function. Moreover, when considering a lower bound in convex optimization, our algorithm is shown to achieve the optimal convergence rate in convex optimization and the optimal regret in dueling bandit except for a logarithmic factor.

研究动机与目标

• 解决仅能获取成对比较反馈的连续动作空间中的对决Bandit问题。
• 设计一种在代价函数强凸性和光滑性假设下实现低遗憾的算法。
• 阐明在噪声比较下，对决Bandit问题中遗憾最小化与凸优化之间的理论等价性。
• 建立紧致的遗憾边界与收敛速率边界，表明所提方法的近似最优性。
• 弥合在噪声反馈下对决Bandit学习与函数优化之间的差距。

提出的方法

• 提出一种专为具有噪声比较反馈的连续对决Bandit问题设计的新颖随机镜像下降（NC-SMD）算法。
• 使用代价函数 $f$ 和链接函数 $\sigma$ 建模成对偏好，其中 $P(a \succ a') = \sigma(f(a') - f(a))$。
• 在镜像下降框架中采用自洽障碍函数，以高效处理连续动作空间。
• 基于代价函数 $f$ 的强凸性与光滑性，以及链接函数 $\sigma$ 的光滑性，推导出遗憾边界。
• 通过反馈机制的变换，建立对决Bandit遗憾与凸优化误差之间的等价性。
• 利用噪声函数优化中的下界结果（Shamir, 2013），证明该算法收敛速率的近似最优性。

实验结果

研究问题

• RQ1 在仅能获取成对比较反馈的连续对决Bandit问题中，随机镜像下降算法能否实现次线性遗憾边界？
• RQ2 在噪声比较下，对决Bandit问题中遗憾最小化与凸优化之间是否存在根本性等价性？
• RQ3 所提算法在对决Bandit与凸优化框架中是否均实现了近似最优的收敛速率？
• RQ4 在噪声反馈下的凸优化中，该算法的性能与理论下界相比如何？
• RQ5 在强凸性和光滑性假设下，能否将遗憾边界改进至 $O(\sqrt{T\log T})$ 以下？

主要发现

• 所提NC-SMD算法在代价函数强凸性和光滑性假设下，实现了 $O(\sqrt{T\log T})$ 的遗憾边界。
• 对决Bandit问题中的遗憾在理论上等价于带有噪声比较的凸函数最小化中的优化误差。
• 在函数优化中，该算法的收敛速率为 $O(\sqrt{\log T / T})$，几乎是最优的，与已知下界仅相差一个对数因子。
• 推导出期望优化误差的下界 $\Omega(\min\{1, d/\sqrt{T}\})$，表明该算法性能接近最优。
• 该算法在对决Bandit与凸优化两种设置中均实现了最优性能，仅在遗憾边界中存在一个对数因子的差距。
• 分析表明，在适当的噪声假设下，单比特比较反馈可保持与完整噪声函数反馈几乎相同的收敛速率。