[论文解读] On Correcting Inputs: Inverse Optimization for Online Structured Prediction

Hal Daumé, Samir Khuller+2 more|arXiv (Cornell University)|Jan 1, 2015

Topic Modeling参考文献 1被引用 3

一句话总结

本文提出了一种新颖的在线结构化预测逆优化框架，通过修正输入特征以确保期望输出在保证的裕度下为最优。通过为组合结构（如拟阵、匹配和最短路径）制定δ-裕度逆优化问题，并将其整合到一种被动-攻击型在线学习算法中，作者实现了收敛性与有界合页损失，从而在泛化能力和误差界方面提供了理论保证。

ABSTRACT

Algorithm designers typically assume that the input data is correct, and then proceed to find "optimal" or "sub-optimal" solutions using this input data. However this assumption of correct data does not always hold in practice, especially in the context of online learning systems where the objective is to learn appropriate feature weights given some training samples. Such scenarios necessitate the study of inverse optimization problems where one is given an input instance as well as a desired output and the task is to adjust the input data so that the given output is indeed optimal. Motivated by learning structured prediction models, in this paper we consider inverse optimization with a margin, i.e., we require the given output to be better than all other feasible outputs by a desired margin. We consider such inverse optimization problems for maximum weight matroid basis, matroid intersection, perfect matchings, minimum cost maximum flows, and shortest paths and derive the first known results for such problems with a non-zero margin. The effectiveness of these algorithmic approaches to online learning for structured prediction is also discussed.

研究动机与目标

• 为解决结构化预测中输入数据可能存在错误或近似的问题，尤其是在在线学习设置下。
• 开发一种框架，通过修正特征权重，使期望输出不仅是最优的，而且在裕度δ下严格优于所有其他替代方案。
• 将逆优化从零裕度的L1/L∞范数扩展到更一般且实际相关的L2范数最小化问题，且具有非零裕度。
• 为使用逆优化作为子程序的在线结构化预测提供理论收敛性与误差界。
• 通过L2正则化扰动确保大裕度解，从而在结构化预测模型中实现更好的泛化性能。

提出的方法

• 为关键组合结构（最大权拟阵基、拟阵交集、完美匹配、最小费用最大流和最短路径）制定δ-裕度逆优化问题。
• 将结构化预测学习问题重新表述为逆优化任务：给定期望输出，寻找最小L2范数的特征权重扰动，使得期望输出在裕度δ下成为最优。
• 将被动-攻击型MIRA算法适配于在线学习，其中每次更新均通过求解一个δ-裕度逆优化问题来校正模型参数。
• 利用逆优化子问题中的对偶变量，推导出累积损失与收敛性的理论界。
• 将该框架应用于依赖解析（通过有向树）和机器翻译（通过匹配）等结构化预测任务，其中输出为离散的组合结构。
• 采用一种通用学习框架，每个训练样本均触发一个δ-逆优化子问题以更新模型参数θ。

实验结果

研究问题

• RQ1 能否将逆优化扩展至在期望输出与所有其他可行输出之间强制非零裕度δ？
• RQ2 如何利用L2范数最小化来扰动特征权重，使得期望的结构化输出在裕度δ下成为最优？
• RQ3 当使用δ-裕度逆优化作为子程序时，能否为在线结构化预测推导出理论保证？
• RQ4 能否将MIRA算法的收敛性与误差界扩展至使用逆优化的结构化预测模型？
• RQ5 所提出的逆优化算法在多种组合结构（如拟阵、匹配和流）上的表现如何？

主要发现

• 本文首次提出适用于多种组合结构（包括拟阵基、拟阵交集、完美匹配、最小费用流和最短路径）的δ-裕度逆优化L2范数最小化算法。
• 理论收敛性已证明：对偶变量的累积和被一个与T无关的常数所界定，意味着算法收敛。
• 在T次试验中，总合页损失被一个与T无关的常数所界定，具体为≤ 8A(R||θ∗||/δ∗)²，这意味着算法最终将实现正确预测。
• 该框架使学习具有大裕度解的结构化预测模型成为可能，从而通过现有学习理论支持了更好的泛化性能。
• 该方法可推广至多种结构化预测任务，如依赖解析（通过有向树）和机器翻译（通过匹配），通过求解适当的逆优化子问题实现。
• 结果将MIRA算法的误差与收敛界扩展至使用逆优化作为核心子程序的结构化预测设置。