[论文解读] Sequential Probability Assignment with Binary Alphabets and Large Classes of Experts

Alexander Rakhlin, Karthik Sridharan|arXiv (Cornell University)|Jan 29, 2015

Advanced Bandit Algorithms Research参考文献 17被引用 8

一句话总结

该论文通过专家类别的序列复杂度，为二元结果和对数损失下的序列概率预测中的极小化最大遗憾建立了紧致的上下界。它提出了一种新颖的序列链式技术，结合伯恩斯坦型界来处理对数损失中的无界梯度，从而为大型类别（如高维欧几里得球）实现了非平凡的遗憾界，并提出了一种基于自洽障碍的算法，仅需函数值界，无需梯度界。

ABSTRACT

We analyze the problem of sequential probability assignment for binary outcomes with side information and logarithmic loss, where regret---or, redundancy---is measured with respect to a (possibly infinite) class of experts. We provide upper and lower bounds for minimax regret in terms of sequential complexities of the class. These complexities were recently shown to give matching (up to logarithmic factors) upper and lower bounds for sequential prediction with general convex Lipschitz loss functions (Rakhlin and Sridharan, 2015). To deal with unbounded gradients of the logarithmic loss, we present a new analysis that employs a sequential chaining technique with a Bernstein-type bound. The introduced complexities are intrinsic to the problem of sequential probability assignment, as illustrated by our lower bound. We also consider an example of a large class of experts parametrized by vectors in a high-dimensional Euclidean ball (or a Hilbert ball). The typical discretization approach fails, while our techniques give a non-trivial bound. For this problem we also present an algorithm based on regularization with a self-concordant barrier. This algorithm is of an independent interest, as it requires a bound on the function values rather than gradients.

研究动机与目标

• 刻画二元结果和对数损失下序列概率分配的极小化最大遗憾。
• 分析专家类别复杂度对遗憾的影响，特别是针对大型或无限类。
• 开发一种新分析技术，以处理对数损失函数中的无界梯度。
• 为标准离散化方法失效的高维专家类别提供非平凡的遗憾界。
• 设计一种基于正则化的算法，利用自洽障碍，仅需函数值界而非梯度界。

提出的方法

• 引入一种修改后的偏移序列Rademacher复杂度，以限制截断专家类别的遗憾。
• 采用具有伯恩斯坦型集中性的序列链式技术，以控制次高斯和次指数尾部行为。
• 通过 τδ(a) 截断来管理对数损失函数中的无界梯度。
• 应用自洽障碍正则化方法，针对由高维欧几里得球中向量参数化的特定专家类别。
• 通过递归构造胖-破碎维数和基于树的破碎论证推导遗憾界。
• 结合无对称化分析与对数损失的自信息性质，改善对截断参数 δ 的依赖性。

实验结果

研究问题

• RQ1 专家类别的序列复杂度在何种程度上决定了序列概率预测中对数损失下的极小化最大遗憾？
• RQ2 当损失函数具有无界梯度时，具有伯恩斯坦型界的序列链式方法能否有效控制遗憾？
• RQ3 对于大型专家类别（如由高维欧几里得球中向量参数化的类别），在标准离散化失效时，极小化最大遗憾是多少？
• RQ4 能否设计一种基于正则化的算法，仅依赖函数值界而非梯度界来解决此问题？
• RQ5 在依赖于类别复杂度和问题参数方面，遗憾的上下界之间有何比较？

主要发现

• 该论文在序列复杂度方面（对数因子内）建立了极小化最大遗憾的匹配上下界。
• 所提出的具有伯恩斯坦型界的序列链式方法，对单调类实现了 O(n^{3/5}) 阶的遗憾界，恢复了已知速率。
• 对于由 d 维欧几里得球中向量参数化的专家类别，该方法得出了非平凡的遗憾界 O(d^{1/2} n^{1/2} log n)，即使在 d 增大时仍保持非平凡。
• 分析表明，所引入的序列复杂度是问题的本质属性，这一点由匹配的下界得到证实。
• 开发了一种基于自洽障碍的算法，仅需函数值界，使其适用于梯度控制不可行的场景。
• 通过 δ ∈ (0, 1/2) 的截断方法，可控制遗憾对 δ 的依赖性，最终界限按 O(δ n) 加上链式复杂度项缩放。