[论文解读] The Lovász Hinge: A Novel Convex Surrogate for Submodular Losses

Jiaqian Yu, Matthew B. Blaschko|arXiv (Cornell University)|Dec 24, 2015

Complexity and Algorithms in Graphs参考文献 1被引用 6

一句话总结

本文提出了洛瓦兹铰链（Lovász hinge），一种用于子模损失的新型凸代理损失函数，通过 $Ø(p\log p)$ 时间的梯度和切割平面计算，实现了高效的优化。与边际和松弛重标定不同，后者在非超模损失下为 NP-难问题，洛瓦兹铰链利用子模函数的洛瓦兹扩展，提供了紧致的凸扩展，从而在 PASCAL VOC 和 MS COCO 上的集合预测任务中实现了最先进性能。

ABSTRACT

Learning with non-modular losses is an important problem when sets of predictions are made simultaneously. The main tools for constructing convex surrogate loss functions for set prediction are margin rescaling and slack rescaling. In this work, we show that these strategies lead to tight convex surrogates iff the underlying loss function is increasing in the number of incorrect predictions. However, gradient or cutting-plane computation for these functions is NP-hard for non-supermodular loss functions. We propose instead a novel surrogate loss function for submodular losses, the Lovász hinge, which leads to O(p log p) complexity with O(p) oracle accesses to the loss function to compute a gradient or cutting-plane. We prove that the Lovász hinge is convex and yields an extension. As a result, we have developed the first tractable convex surrogates in the literature for submodular losses. We demonstrate the utility of this novel convex surrogate through several set prediction tasks, including on the PASCAL VOC and Microsoft COCO datasets.

研究动机与目标

• 为解决结构化预测中子模损失优化的不可行性，现有凸代理方法如边际和松弛重标定在非超模损失下为 NP-难问题。
• 开发一种既紧致又计算高效的子模损失函数凸代理，此类损失函数在现实世界预测任务中十分常见。
• 提供一种理论基础坚实的多项式时间替代方法，以应对现有方法因 NP-难推理或松散边界而失效的问题。
• 在 PASCAL VOC 和 MS COCO 等基准数据集上，通过多标签分类和目标检测任务，展示洛瓦兹铰链的实际有效性。

提出的方法

• 基于洛瓦兹扩展提出洛瓦兹铰链作为凸代理，该扩展是子模集合函数的凸闭包。
• 利用洛瓦兹扩展构建离散子模损失函数的紧致凸上界，确保一致性和凸性。
• 采用贪心算法在 $Ø(p\log p)$ 时间内计算次梯度，仅需 $Ø(p)$ 次对损失函数的预言机查询。
• 应用切割平面法进行优化，利用洛瓦兹铰链的凸性和可计算的次梯度。
• 通过结构化 SVM 在洛瓦兹铰链上进行经验风险最小化训练，验证方法在多种子模损失（如 Jaccard 和基于 F1 的损失）上的有效性。
• 使用原始-对偶间隙收敛性和测试损失指标，与边际和松弛重标定方法以及 0-1 损失进行性能比较。

实验结果

研究问题

• RQ1 能否为子模损失构造一种既紧致又可高效优化的凸代理？
• RQ2 为何边际和松弛重标定在非超模子模损失下虽具理论吸引力，却在实践中失效？
• RQ3 洛瓦兹扩展能否被用于构建一种多项式时间凸代理，以匹配子模函数的凸闭包？
• RQ4 在真实世界的集合预测任务中，使用洛瓦兹铰链训练是否能获得低于现有方法的测试误差？

主要发现

• 洛瓦兹铰链在梯度和切割平面计算中实现了 $Ø(p\log p)$ 时间复杂度，是文献中首个可计算的子模损失凸代理。
• 实证结果表明，洛瓦兹铰链的收敛速度与标准 SVM 相当，且在迭代过程中原始-对偶间隙快速减小。
• 在 PASCAL VOC 和 MS COCO 数据集上，使用洛瓦兹铰链训练的模型相比边际和松弛重标定方法，平均测试损失显著更低，并与 0-1 损失性能相当或更优。
• 对于子模的 Jaccard 损失，基于 0-1 损失训练的洛瓦兹铰链实现了最佳测试性能，证实了其一致性和紧致性。
• 尽管边际和松弛重标定方法在理论上为 NP-难问题，洛瓦兹铰链在测试损失和收敛性方面仍优于它们。
• 该方法可实现精确的次梯度计算，避免了近似推理中常见的误差累积和过早终止问题。