[论文解读] Online Learning of Combinatorial Objects via Extended Formulation

Holakou Rahmanian, David P. Helmbold+1 more|arXiv (Cornell University)|Sep 17, 2016

Machine Learning and Algorithms参考文献 24被引用 3

一句话总结

该论文提出 XF-Hedge，一种新颖的在线学习算法，利用扩展形式在高维空间中高效学习排列和哈夫曼树等组合对象。通过在多项式数量面的高维空间中编码复杂多面体，XF-Hedge 实现了高效的 Bregman 投影，并在排列问题上的遗憾界与最先进算法相差一个 $\mathcal{O}(\sqrt{\log n})$ 因子，且在不同损失范式下，对哈夫曼树的遗憾界达到或优于现有方法。

ABSTRACT

The standard techniques for online learning of combinatorial objects perform multiplicative updates followed by projections into the convex hull of all the objects. However, this methodology can be expensive if the convex hull contains many facets. For example, the convex hull of $n$-symbol Huffman trees is known to have exponentially many facets (Maurras et al., 2010). We get around this difficulty by exploiting extended formulations (Kaibel, 2011), which encode the polytope of combinatorial objects in a higher dimensional "extended" space with only polynomially many facets. We develop a general framework for converting extended formulations into efficient online algorithms with good relative loss bounds. We present applications of our framework to online learning of Huffman trees and permutations. The regret bounds of the resulting algorithms are within a factor of $O(\sqrt{\log(n)})$ of the state-of-the-art specialized algorithms for permutations, and depending on the loss regimes, improve on or match the state-of-the-art for Huffman trees. Our method is general and can be applied to other combinatorial objects.

研究动机与目标

• 为解决标准在线学习方法在投影到组合对象的高维凸包时计算低效的问题，特别是当这些凸包具有指数数量面时。
• 开发一种通用框架，将组合多面体的扩展形式转化为具有可证明遗憾保证的高效在线学习算法。
• 通过利用具有多项式数量面的冗余高维表示，使基于组件 Hedge 的算法能够应用于复杂组合类。
• 在保持计算效率的同时，实现与针对排列和哈夫曼树的专用算法相竞争的遗憾界。
• 将在线学习的应用范围扩展至其凸包难以直接投影的组合对象。

提出的方法

• 该方法使用扩展形式在更高维空间中表示组合对象的多面体，其中面的数量在问题规模上为多项式。
• 在扩展空间中应用迭代 Bregman 投影，以维护对组合对象的分布，避免显式枚举所有对象。
• 对隐式表示的参数执行乘法更新，随后通过 Bregman 散度投影以确保在扩展形式中的可行性。
• 该框架支持定义在原始组合对象上的损失函数，即使扩展形式引入了辅助变量和松弛变量。
• 遗憾分析考虑了投影过程提前终止所引入的近似误差，界定了由此产生的额外损失。
• 该方法推广了 Component Hedge，并继承了专家学习中的工具，如对 bandit 反馈的适应性和对比较器移动的边界。

实验结果

研究问题

• RQ1 能否利用扩展形式设计出针对其凸包具有指数数量面的组合对象的高效在线学习算法？
• RQ2 当投影在更高维的扩展空间中而非原始组合空间中进行时，如何对在线学习的遗憾进行界定？
• RQ3 在不同损失范式下，XF-Hedge 与针对排列和哈夫曼树的最先进专用算法之间的性能差距如何？
• RQ4 扩展形式中的冗余变量在表达更复杂或结构化的损失函数方面有哪些应用方式？
• RQ5 哪些类别的组合对象既具有自然的在线损失，又具备适合在线学习的紧凑扩展形式？

主要发现

• 对于排列，XF-Hedge 的遗憾界与最先进算法 OnlineRank 相差一个 $\mathcal{O}(\sqrt{\log n})$ 因子。
• 在单位立方体损失向量下，对于哈夫曼树，XF-Hedge 的遗憾界与 FPL 和通用 Hedge 算法相当或更优，其边界为 $\mathcal{O}(n(\log n)^{1/2}\sqrt{L^*} + n^2\log n)$。
• 在单位单纯形损失范式下，对于哈夫曼树，每轮损失为 $\mathcal{O}(n)$，XF-Hedge 的遗憾界与 FPL 和通用 Hedge 算法一致，均达到 $\mathcal{O}(n(\log n)^{1/2}\sqrt{L^*} + n^2\log n)$。
• 该方法通过避免对指数数量对象显式追踪权重，减少了通用 Hedge 算法中存在的遗憾损失范围因子。
• 分析表明，当在扩展空间中提前终止迭代 Bregman 投影时，仅引入有界额外损失，从而支持高效实现。
• 该框架具有通用性，可应用于其他具有合适扩展形式的组合对象，如路径、$k$-集合和子模结构。