[论文解读] Structured Prediction with Projection Oracles

Mathieu Blondel|arXiv (Cornell University)|Oct 24, 2019

Machine Learning and Data Classification被引用 9

一句话总结

本文提出了一种用于结构化预测的一般性框架，通过将预测输出投影到凸集（如边际多面体）上，推导出凸的、光滑的损失函数。该方法在标签排序、序数回归和多标签分类任务中均实现了比标准损失更高的准确率，尤其在使用高效投影到结构化多面体（如Birkhoff多面体或序单纯形）时表现一致。

ABSTRACT

We propose in this paper a general framework for deriving loss functions for structured prediction. In our framework, the user chooses a convex set including the output space and provides an oracle for projecting onto that set. Given that oracle, our framework automatically generates a corresponding convex and smooth loss function. As we show, adding a projection as output layer provably makes the loss smaller. We identify the marginal polytope, the output space's convex hull, as the best convex set on which to project. However, because the projection onto the marginal polytope can sometimes be expensive to compute, we allow to use any convex superset instead, with potentially cheaper-to-compute projection. Since efficient projection algorithms are available for numerous convex sets, this allows us to construct loss functions for a variety of tasks. On the theoretical side, when combined with calibrated decoding, we prove that our loss functions can be used as a consistent surrogate for a (potentially non-convex) target loss function of interest. We demonstrate our losses on label ranking, ordinal regression and multilabel classification, confirming the improved accuracy enabled by projections.

研究动机与目标

• 开发一种通用且计算上可行的框架，用于在结构化预测中推导凸的、光滑的代理损失函数。
• 通过结合基于投影的损失与校准解码，实现一致的学习，确保收敛到最优目标损失。
• 提供一种现有代理损失的灵活替代方案，利用高效的投影预言机，而非MAP或边缘推理预言机。
• 证明将预测投影到边际多面体或其高效超集上，可在多种结构化预测任务中提升预测准确率。

提出的方法

• 该框架使用包含输出空间的凸集推导Fenchel-Young损失，损失通过投影到该集合定义。
• 用户选择一个凸集（例如Birkhoff多面体、序单纯形、背包多面体），并提供其上的投影预言机。
• 损失构造为与凸共轭函数及所选集合上的投影算子相关的Fenchel-Young损失。
• 边际多面体——输出空间的凸包——被识别为投影的最优凸集，以确保与目标损失的一致性。
• 当对边际多面体的投影不可行时，框架允许使用任意凸超集（如[0,1]^k、单纯形），并采用计算更便宜的投影算法。
• 在测试阶段应用校准解码，将连续预测映射回有效离散输出，确保与目标损失的一致性。

实验结果

研究问题

• RQ1 能否仅使用投影预言机设计一种通用框架，用于推导结构化预测中的凸且光滑的代理损失？
• RQ2 与标准损失相比，将预测投影到边际多面体或其超集上是否能带来更好的泛化能力和准确率？
• RQ3 在结构化预测任务中，凸集的选择（如Birkhoff多面体、序单纯形、背包多面体）如何影响性能？
• RQ4 当目标损失为非凸时，该方法与校准解码结合是否仍与目标损失保持一致？

主要发现

• 在标签排序任务中，使用Birkhoff多面体进行投影和解码，在Wine数据集上实现了5.10的最低汉明损失，优于所有其他配置。
• 在序数回归任务中，对序单纯形的欧几里得投影将平均绝对误差（MAE）降低至0.43，优于岭回归（MAE 0.72）及其他基线方法。
• 在多标签分类任务中，背包多面体在每个样本标签数较少的数据集（如'birds'、'emotions'、'scene'）上提升了F1分数，优于单位立方体基线。
• KL和欧几里得投影性能相近，表明损失函数的选择（如散度类型）的重要性低于凸集的选择。
• 通过将软排列矩阵投影到Birkhoff多面体上进行可视化，实现了更好的可解释性，而使用[0,1]^{k×k}等超集则失去了这一优势。
• 在温和假设下，该框架与校准解码结合时，即使目标损失为非凸，也能确保与目标损失的一致性。