[论文解读] Output Space Search for Structured Prediction

Janardhan Rao Doppa, Alan Fern+1 more|arXiv (Cornell University)|Jun 27, 2012

Machine Learning and Data Classification参考文献 15被引用 11

一句话总结

该论文提出了一种结构化预测框架，通过学习到的代价函数引导输出空间中的时间受限搜索，以寻找低代价的结构化输出。该框架引入了一种有限差异搜索空间和一种代价函数学习方法，其行为模仿真实损失引导的搜索，仅用极少的搜索开销就在六个基准任务上达到了最先进性能。

ABSTRACT

We consider a framework for structured prediction based on search in the space of complete structured outputs. Given a structured input, an output is produced by running a time-bounded search procedure guided by a learned cost function, and then returning the least cost output uncovered during the search. This framework can be instantiated for a wide range of search spaces and search procedures, and easily incorporates arbitrary structured-prediction loss functions. In this paper, we make two main technical contributions. First, we define the limited-discrepancy search space over structured outputs, which is able to leverage powerful classification learning algorithms to improve the search space quality. Second, we give a generic cost function learning approach, where the key idea is to learn a cost function that attempts to mimic the behavior of conducting searches guided by the true loss function. Our experiments on six benchmark domains demonstrate that using our framework with only a small amount of search is sufficient for significantly improving on state-of-the-art structured-prediction performance.

研究动机与目标

• 开发一种基于完整结构化输出空间搜索的一般化结构化预测框架。
• 通过一种新颖的有限差异搜索空间，利用强大的分类算法提升搜索效率和输出质量。
• 学习一个代价函数，以近似真实损失引导搜索的行为，而无需在推理过程中访问真实损失。
• 在基于搜索的预测框架中支持任意结构化预测损失函数。
• 仅使用少量搜索计算量，显著超越最先进方法的性能。

提出的方法

• 该框架在输出空间中执行时间受限搜索，返回搜索过程中找到的最低代价输出。
• 引入一种有限差异搜索空间，通过从参考输出变化差异系统性地探索结构化输出，实现高效探索。
• 学习一个代价函数，以近似由真实结构化预测损失引导的搜索行为，方法是在搜索轨迹上使用监督学习。
• 代价函数学习过程将搜索过程视为一个监督分类问题，目标是预测在真实损失下哪些输出可能是最优的。
• 该方法支持任意结构化预测损失函数，并能将其无缝集成到搜索过程中。
• 该方法结合基于分类的搜索空间构建与端到端代价函数学习，以提高预测准确率。

实验结果

研究问题

• RQ1 基于搜索的结构化预测框架是否能在极少搜索开销下实现最先进性能？
• RQ2 有限差异搜索空间在提升搜索效率和输出质量方面的有效性如何？
• RQ3 学习到的代价函数是否能有效模仿损失引导搜索的行为，而无需直接访问真实损失？
• RQ4 该框架在多样化结构化预测任务上的泛化能力如何？
• RQ5 该框架中搜索时间与预测准确率之间的权衡关系如何？

主要发现

• 所提出的框架仅使用少量搜索计算量，就在六个基准结构化预测任务上实现了最先进性能。
• 有限差异搜索空间实现了对结构化输出空间的高效探索，同时保持了高质量的解。
• 学习到的代价函数成功近似了损失引导搜索的行为，从而提升了预测准确率。
• 该方法在所有六个基准领域中显著优于现有方法，展现出强大的泛化能力。
• 即使在时间受限搜索下，该框架也能实现高性能，表明其在搜索过程中具有极强的样本效率。
• 将任意结构化预测损失函数集成到搜索框架中既有效又实用。