[论文解读] Search-based Structured Prediction

Hal Daumé, John Langford+1 more|ArXiv.org|Jul 4, 2009

Topic Modeling参考文献 35被引用 73

一句话总结

本文提出 Searn，一种基于搜索的结构化预测算法，通过策略梯度方法将复杂的结构化预测问题转化为一系列二分类任务。该方法在手写识别、命名实体识别和句法切分等多种任务上均取得最先进性能，并具备将分类性能与结构化预测性能相联系的坚实理论保证。

ABSTRACT

We present Searn, an algorithm for integrating search and learning to solve complex structured prediction problems such as those that occur in natural language, speech, computational biology, and vision. Searn is a meta-algorithm that transforms these complex problems into simple classification problems to which any binary classifier may be applied. Unlike current algorithms for structured learning that require decomposition of both the loss function and the feature functions over the predicted structure, Searn is able to learn prediction functions for any loss function and any class of features. Moreover, Searn comes with a strong, natural theoretical guarantee: good performance on the derived classification problems implies good performance on the structured prediction problem.

研究动机与目标

• 解决现有结构化预测算法在损失函数和特征函数分解方面存在的局限性。
• 开发一个统一框架，支持任意损失函数、通用特征函数以及不完美数据。
• 提供一种理论基础扎实的方法，通过有效的二分类实现良好结构化预测性能。
• 使标准二分类器能够应用于复杂结构化预测问题，而无需结构约束。

提出的方法

• Searn 将结构化预测建模为一个序列决策过程，通过策略逐步预测输出的各个组成部分。
• 使用代价敏感的分类算法学习策略，以最小化结构化输出空间上的期望损失。
• 通过从当前策略中收集轨迹，并基于生成的监督样本训练新分类器，迭代改进策略。
• 采用可为具体（如词性标注）或抽象（如中间表示）的搜索空间，通过将选择序列映射到最终输出的函数实现建模。
• 理论分析表明，对衍生分类问题的良好性能可保证对原始结构化预测问题的优异表现。
• 采用类似策略梯度的更新方式，每次迭代基于从当前策略采样得到的轨迹的期望损失来改进策略。

实验结果

研究问题

• RQ1 能否开发一个统一框架，支持结构化预测中任意损失函数和特征函数？
• RQ2 能否设计一种元算法，将复杂结构化预测问题简化为标准的二分类任务？
• RQ3 所提出方法是否保持了将二分类性能与结构化预测性能紧密关联的强理论保证？
• RQ4 该算法能否在非标准且复杂的结构化预测任务上实现最先进性能？

主要发现

• Searn 在手写识别任务上达到最先进性能，优于先前方法如最大间隔马尔可夫网络。
• 在西班牙语命名实体识别任务中，Searn 在小规模和大规模训练数据集上均取得具有竞争力的结果，展现出对不同数据规模的鲁棒性。
• 在句法切分任务中，Searn 使用标准特征集表现良好，即使在特征工程有限的情况下也体现出有效性。
• 该算法保持了强理论保证：对衍生分类问题的良好性能可确保对结构化预测问题的良好表现。
• 实证结果表明，Searn 在传统序列标注之外的复杂、非标准结构化预测问题上也表现出良好的泛化能力。