[论文解读] Structured Prediction Energy Networks

David Belanger, Andrew McCallum|arXiv (Cornell University)|Nov 19, 2015

Machine Learning in Materials Science参考文献 46被引用 15

一句话总结

本文提出了结构化预测能量网络（SPENs），一种使用可微分能量函数来建模多标签分类等结构化输出中复杂依赖关系的深度学习框架。通过梯度下降优化能量函数，SPENs 实现了端到端训练与自动结构学习，在基准多标签数据集上达到最先进性能，同时在极少结构假设下实现可解释的高阶交互建模。

ABSTRACT

We introduce structured prediction energy networks (SPENs), a flexible framework for structured prediction. A deep architecture is used to define an energy function of candidate labels, and then predictions are produced by using back-propagation to iteratively optimize the energy with respect to the labels. This deep architecture captures dependencies between labels that would lead to intractable graphical models, and performs structure learning by automatically learning discriminative features of the structured output. One natural application of our technique is multi-label classification, which traditionally has required strict prior assumptions about the interactions between labels to ensure tractable learning and prediction. We are able to apply SPENs to multi-label problems with substantially larger label sets than previous applications of structured prediction, while modeling high-order interactions using minimal structural assumptions. Overall, deep learning provides remarkable tools for learning features of the inputs to a prediction problem, and this work extends these techniques to learning features of structured outputs. Our experiments provide impressive performance on a variety of benchmark multi-label classification tasks, demonstrate that our technique can be used to provide interpretable structure learning, and illuminate fundamental trade-offs between feed-forward and iterative structured prediction.

研究动机与目标

• 解决现有结构化预测模型依赖于固定图模型结构且具有强归纳偏置的局限性。
• 通过深度架构实现对输入 x 和结构化输出 y 的联合表示学习。
• 通过端到端反向传播学习结构化输出的判别特征，实现自动结构学习。
• 提供一种灵活、可微分的结构化预测框架，支持高元交互而无需严格假设。
• 证明基于梯度的能量函数优化可实现具有竞争力的性能，同时保持可解释的模型行为。

提出的方法

• 一个深度神经网络定义了一个依赖于输入 x 和结构化输出 y 的能量函数 E_x(y)。
• 通过在推理过程中将 y 视为可学习变量，使用梯度下降迭代最小化 E_x(y) 来获得预测。
• 通过结构化SVM与合页损失进行训练，使反向传播能够通过特征网络和优化循环实现端到端。
• 使用具有可学习参数的全局能量网络，以建模输出变量之间的高阶交互。
• 采用批处理、GPU加速的推理过程，并通过目标函数和迭代值的相对与绝对变化监控收敛。
• 通过在90%的样本收敛后提前终止优化，提升预测速度，缓解‘最后处理器的诅咒’问题。

实验结果

研究问题

• RQ1 能否使用深度架构以可微分、端到端的方式联合学习输入 x 和结构化输出 y 的表示？
• RQ2 对学习到的能量函数进行迭代梯度优化，是否在结构化预测任务中优于固定结构模型？
• RQ3 SPENs 在无需强先验假设的情况下，能在多大程度上发现输出变量之间的高阶交互？
• RQ4 与前馈基线模型相比，SPENs 在准确率和推理速度方面表现如何？
• RQ5 在推理过程中采用早停策略，是否能在显著降低预测时间的同时保持高准确率？

主要发现

• SPENs 在多个基准多标签分类数据集（包括 Bibtex）上实现了最先进性能，且未对标签交互施加限制性假设。
• 该模型成功学习了标签之间的高元依赖关系，即使在标签集合较大时也能实现准确预测。
• 约 8% 的测试预测能量值高于真实标签，表明尽管经过优化，仍存在非平凡的搜索误差率。
• 通过在 90% 的样本收敛后终止优化，预测推理速度提升了 3 倍，且准确率下降可忽略。
• 若使用预训练 MLP 的输出作为优化初始值，收敛过程平均提前约 5 次迭代，进一步提升效率。
• 若消除‘最后处理器的诅咒’，每个样本的平均预测时间可从 1.2 秒降低至 0.8 秒。