[论文解读] Regret Lower Bound and Optimal Algorithm in Finite Stochastic Partial Monitoring

Junpei Komiyama, Junya Honda+1 more|arXiv (Cornell University)|Sep 30, 2015

Advanced Bandit Algorithms Research参考文献 8被引用 4

一句话总结

本文为有限随机部分监控问题建立了基于分布的对数 regret 下界，并提出了受多臂赌博机 DMED 启发的 PM-DMED 算法。此外，本文引入了 PM-DMED-Hinge，其渐近最优的 regret 上界与推导出的下界相匹配，使其成为首个在简单与困难部分监控问题中均实现最优常数因子的算法。

ABSTRACT

Partial monitoring is a general model for sequential learning with limited feedback formalized as a game between two players. In this game, the learner chooses an action and at the same time the opponent chooses an outcome, then the learner suffers a loss and receives a feedback signal. The goal of the learner is to minimize the total loss. In this paper, we study partial monitoring with finite actions and stochastic outcomes. We derive a logarithmic distribution-dependent regret lower bound that defines the hardness of the problem. Inspired by the DMED algorithm (Honda and Takemura, 2010) for the multi-armed bandit problem, we propose PM-DMED, an algorithm that minimizes the distribution-dependent regret. PM-DMED significantly outperforms state-of-the-art algorithms in numerical experiments. To show the optimality of PM-DMED with respect to the regret bound, we slightly modify the algorithm by introducing a hinge function (PM-DMED-Hinge). Then, we derive an asymptotically optimal regret upper bound of PM-DMED-Hinge that matches the lower bound.

研究动机与目标

• 为有限随机部分监控问题建立基于分布的 regret 下界。
• 设计一种最小化基于分布的 regret 的算法，受多臂赌博机 DMED 算法的启发。
• 设计该算法的改进版本（PM-DMED-Hinge），以实现渐近最优的 regret 性能。
• 通过数值实验实证证明 PM-DMED 显著优于现有最先进算法。
• 弥合部分监控中已知的 regret 下界与上界之间的差距，特别是针对困难问题。

提出的方法

• 基于 Kullback-Leibler 散度以及反馈和损失结构的几何性质，推导出对数 regret 下界。
• 提出 PM-DMED，其通过最小化估计结果与真实结果分布之间的数据驱动散度度量来选择动作，类似于赌博机中的 DMED。
• 在 PM-DMED-Hinge 中引入 hinge 函数，以优化探索过程，并确保估计分布的更紧集中性边界。
• 采用一种新颖的 regret 分解方法，将其划分为多个事件（例如，$ abla$，$ abla^c$，$ abla^c$），并应用大偏差界来控制这些事件的概率。
• 应用浓度不等式和基于散度的置信区间，以确保次优动作被选择的频率极低。
• 对导致估计误差引发次优动作选择的事件集合进行细致分析，证明其总概率为 $\mathrm{O}(1)$。

实验结果

研究问题

• RQ1 在有限随机部分监控中，基于分布的 regret 的根本极限（下界）是什么？
• RQ2 能否设计一种算法，使其渐近地达到该下界？
• RQ3 是否存在一种实用算法，能在数值实验中显著优于现有方法？
• RQ4 能否最小化 regret 中主导对数项的常数因子？
• RQ5 反馈和损失函数的结构如何影响最优 regret 速率？

主要发现

• 为有限随机部分监控问题推导出对数形式的基于分布的 regret 下界，推广了多臂赌博机中已知的结果。
• 提出 PM-DMED 作为一种实用算法，在多个问题实例的数值实验中显著优于最先进方法。
• PM-DMED-Hinge 实现了与推导出的下界相匹配的渐近最优 regret 上界，证明了其最优性。
• 该算法是首个在简单与困难部分监控问题中均实现主导对数项最优常数因子的算法。
• 由于估计误差导致选择次优动作的总概率被限制在 $\mathrm{O}(1)$ 以内，确保了 sublinear regret 的增长。
• 分析证实，PM-DMED-Hinge 中的 hinge 函数对于实现紧密集中性并匹配下界至关重要。