[论文解读] Online Stochastic Linear Optimization under One-bit Feedback

Lijun Zhang, Tianbao Yang+2 more|arXiv (Cornell University)|Sep 25, 2015

Advanced Bandit Algorithms Research参考文献 38被引用 32

一句话总结

本文提出了一种在单比特反馈下针对随机线性优化的高效在线学习算法，利用逻辑斯谛模型和在线牛顿步的变体，为未知参数维持一个紧密的置信区域。该方法实现了 $\widetilde{O}(d\sqrt{T})$ 的遗憾界，与随机线性Bandit的最优速率一致，同时在实际应用中具有计算可行性。

ABSTRACT

In this paper, we study a special bandit setting of online stochastic linear optimization, where only one-bit of information is revealed to the learner at each round. This problem has found many applications including online advertisement and online recommendation. We assume the binary feedback is a random variable generated from the logit model, and aim to minimize the regret defined by the unknown linear function. Although the existing method for generalized linear bandit can be applied to our problem, the high computational cost makes it impractical for real-world problems. To address this challenge, we develop an efficient online learning algorithm by exploiting particular structures of the observation model. Specifically, we adopt online Newton step to estimate the unknown parameter and derive a tight confidence region based on the exponential concavity of the logistic loss. Our analysis shows that the proposed algorithm achieves a regret bound of $O(d\sqrt{T})$, which matches the optimal result of stochastic linear bandits.

研究动机与目标

• 为解决现有广义线性Bandit方法在单比特反馈设置下的计算效率低下问题。
• 开发一种实用的在线算法，利用逻辑斯谛损失的指数凹性进行参数估计。
• 在逻辑斯谛模型下，利用单比特反馈构建未知参数的紧密置信区域。
• 实现与随机线性Bandit最优的 $\widetilde{O}(d\sqrt{T})$ 遗憾率相匹配的遗憾界。

提出的方法

• 采用在线牛顿步算法的变体，从未知参数向量 $\mathbf{w}_*$ 的单比特反馈中进行估计。
• 利用逻辑斯谛损失函数的指数凹性，推导出 $\mathbf{w}_*$ 的理论可信置信区域。
• 通过在不确定性面前采取乐观原则，选择在置信区域内最大化线性奖励的动作。
• 维护一个动态精度矩阵 $Z_t$，以基于历史动作自适应地更新置信区域。
• 引入计算优化，降低矩阵求逆和更新操作的开销。
• 证明在逻辑斯谛模型下，线性遗憾与非线性遗憾仅相差一个常数因子，从而简化了分析。

实验结果

研究问题

• RQ1 能否设计一种高效的在线算法，用于随机线性优化中的单比特反馈，避免现有广义线性Bandit方法的高计算成本？
• RQ2 如何利用逻辑斯谛损失的指数凹性，在单比特反馈下构建未知参数的紧密置信区域？
• RQ3 所提出的算法是否实现了与随机线性Bandit最优 $\widetilde{O}(d\sqrt{T})$ 遗憾率相匹配的遗憾界？
• RQ4 在在线方式下，利用单比特观测维持和更新置信区域时，存在哪些计算权衡？
• RQ5 能否通过线性遗憾形式化，有效界定逻辑斯谛模型下的非线性遗憾？

主要发现

• 所提算法实现了 $\widetilde{O}(d\sqrt{T})$ 的遗憾界，与随机线性Bandit的最优速率一致。
• 在逻辑斯谛模型下，线性遗憾与非线性遗憾仅相差一个常数因子，从而可使用更简单的线性遗憾分析。
• 置信区域通过在线牛顿步的变体构建，其宽度由逻辑斯谛损失的指数凹性导出。
• 该算法计算高效，避免存储完整的学习历史，适用于实时应用。
• 理论分析证实，该算法在保持最优遗憾率的同时，适用于大规模在线决策任务。
• 提供了计算优化措施，以降低矩阵更新和求逆的开销，提升可扩展性。