[论文解读] On Equivalence of Martingale Tail Bounds and Deterministic Regret Inequalities

Alexander Rakhlin, Karthik Sridharan|arXiv (Cornell University)|Oct 13, 2015

Advanced Bandit Algorithms Research参考文献 20被引用 9

一句话总结

本文建立了局部鞅尾部界限、期望内界限与在线学习中确定性遗憾不等式之间的基本等价性。通过利用这一对偶性，作者借助自适应步长的在线镜像下降，推导出巴拿赫空间取值局部鞅的精确指数尾部界限，并引入了一种广义的局部鞅类型概念，该概念可刻画序列复杂度（至多对数因子）。

ABSTRACT

We study an equivalence of (i) deterministic pathwise statements appearing in the online learning literature (termed \emph{regret bounds}), (ii) high-probability tail bounds for the supremum of a collection of martingales (of a specific form arising from uniform laws of large numbers for martingales), and (iii) in-expectation bounds for the supremum. By virtue of the equivalence, we prove exponential tail bounds for norms of Banach space valued martingales via deterministic regret bounds for the online mirror descent algorithm with an adaptive step size. We extend these results beyond the linear structure of the Banach space: we define a notion of \emph{martingale type} for general classes of real-valued functions and show its equivalence (up to a logarithmic factor) to various sequential complexities of the class (in particular, the sequential Rademacher complexity and its offset version). For classes with the general martingale type 2, we exhibit a finer notion of variation that allows partial adaptation to the function indexing the martingale. Our proof technique rests on sequential symmetrization and on certifying the \emph{existence} of regret minimization strategies for certain online prediction problems.

研究动机与目标

• 建立高概率局部鞅上确界尾部界限、期望内界限与在线学习中确定性遗憾不等式之间的正式等价性。
• 通过引入广义的局部鞅类型概念，将局部鞅的指数尾部界限推广至非线性巴拿赫空间结构。
• 证明序列复杂度（如序列 Rademacher 复杂度及其偏移版本）与该广义局部鞅类型在对数因子范围内等价。
• 提出一种改进的变差概念，使其能对局部鞅过程中的索引函数实现部分自适应。

提出的方法

• 利用序列对称化方法，将概率性局部鞅不等式与在线预测中的确定性路径式遗憾界联系起来。
• 应用最小最大定理以证明最小遗憾策略的存在性，进而导出可用于控制局部鞅上确界的可预测过程。
• 采用自适应步长的在线镜像下降方法，推导出可蕴含巴拿赫空间取值局部鞅精确尾部界限的确定性遗憾界。
• 为实值函数类引入一种广义的局部鞅类型，其定义基于序列复杂度度量。
• 建立该广义局部鞅类型与序列 Rademacher 复杂度（至对数因子）之间的等价性。
• 通过在确定性遗憾不等式与概率性尾部界限之间迭代转换，对界限进行精细化处理，尤其适用于局部鞅类型 2 类。

实验结果

研究问题

• RQ1 能否通过用路径依赖变差替代全局变差，来加强巴拿赫空间取值局部鞅的指数尾部界限？
• RQ2 是否存在一种超越线性巴拿赫空间结构的局部鞅类型广义化形式，以捕捉序列复杂度？
• RQ3 在线学习中的确定性遗憾界与局部鞅上确界概率尾部界限在多大程度上是等价的？
• RQ4 能否利用遗憾界与尾部界限之间的等价性，为非线性或非高斯过程推导出更紧致的界限？
• RQ5 在局部鞅类型 2 过程中，变差概念如何适应于索引局部鞅的函数？

主要发现

• 本文证明，通过采用自适应步长的在线镜像下降所得到的确定性遗憾界，可推导出巴拿赫空间取值局部鞅上确界指数尾部界限。
• 为实值函数类引入了一种广义的局部鞅类型，并证明其与序列 Rademacher 复杂度及其偏移版本在对数因子范围内等价。
• 对于具有局部鞅类型 2 的类，提出了一种改进的变差概念，使其能对索引函数实现部分自适应，从而提升界限的紧致性。
• 正式建立了遗憾界、尾部界限与期望内界限之间的等价性，并在两个方向上加以利用，以获得更强的结果。
• 分析表明，最小遗憾策略的存在性（通过最小最大定理证明）可直接导出可预测过程，从而产生紧致的概率界限。
• 该方法通过将问题约化为实值局部鞅的集中性问题，借助确定性不等式，实现了向量值局部鞅范数的高概率界限推导。