[论文解读] Structured Prediction Cascades

David J. Weiss, Benjamin Taskar+1 more|arXiv (Cornell University)|Aug 6, 2012

Natural Language Processing Techniques参考文献 17被引用 84

一句话总结

本文提出了结构化预测级联（SPC）框架，通过一系列逐步增加复杂度的模型在每个阶段过滤输出空间，从而加速复杂结构化预测任务的推理。该方法学习一种凸损失函数以平衡过滤的准确率与效率，在手写识别和人体姿态识别任务中实现了显著的速度提升，并达到当前最优性能。

ABSTRACT

Structured prediction tasks pose a fundamental trade-off between the need for model complexity to increase predictive power and the limited computational resources for inference in the exponentially-sized output spaces such models require. We formulate and develop the Structured Prediction Cascade architecture: a sequence of increasingly complex models that progressively filter the space of possible outputs. The key principle of our approach is that each model in the cascade is optimized to accurately filter and refine the structured output state space of the next model, speeding up both learning and inference in the next layer of the cascade. We learn cascades by optimizing a novel convex loss function that controls the trade-off between the filtering efficiency and the accuracy of the cascade, and provide generalization bounds for both accuracy and efficiency. We also extend our approach to intractable models using tree-decomposition ensembles, and provide algorithms and theory for this setting. We evaluate our approach on several large-scale problems, achieving state-of-the-art performance in handwriting recognition and human pose recognition. We find that structured prediction cascades allow tremendous speedups and the use of previously intractable features and models in both settings.

研究动机与目标

• 解决结构化预测中模型复杂度与计算效率之间的根本权衡问题，其中由于输出空间大小呈指数级增长，高复杂度模型往往不可行。
• 通过学习专门优化过滤效率与准确率的模型，克服启发式剪枝和近似推理的局限性。
• 为级联架构中的预测准确率与推理效率提供泛化性能的理论保证。
• 通过将推理分解为一系列可处理的、逐步精细化的阶段，使此前难以处理的模型和特征得以应用。

提出的方法

• 设计一个结构化预测模型级联，其中每个模型对下一阶段的输出空间进行过滤与精炼，从而实现搜索空间的指数级缩减。
• 提出一种新颖的凸损失函数，联合优化过滤准确率与推理效率，支持端到端训练。
• 使用随机次梯度下降依次训练级联的每一层，以保持计算上的可处理性。
• 应用树分解集成方法，将该框架扩展至具有环路依赖的图模型，实现在复杂依赖关系下的精确推理。
• 利用最大边际与基于阈值的过滤函数，定义每一级联层的过滤行为。
• 引入利普希茨连续性与雷米奇复杂度界，为准确率与效率的泛化性能提供理论保证。

实验结果

研究问题

• RQ1 能否训练一个结构化模型级联，以在结构化预测任务中同时提升预测准确率并减少推理时间？
• RQ2 如何在结构化预测级联中联合优化过滤效率与预测准确率？
• RQ3 针对准确率与计算效率，能够为级联结构的泛化性能提供哪些理论保证？
• RQ4 该级联框架能否通过树分解方法扩展至具有不可行推理的环路图模型？
• RQ5 结构化预测级联在多大程度上能够使复杂且此前不可行的模型在现实应用中得以使用？

主要发现

• SPC框架在大规模手写识别与人体姿态估计任务中达到当前最优性能。
• 通过级联层的逐步过滤，有效搜索空间被显著缩减，推理速度提升达数个数量级。
• 使用凸且可微的损失函数，有效学习了过滤行为，泛化界证明了对过拟合的鲁棒性。
• 理论分析表明，级联模型的雷米奇复杂度随级联层数与输入维度的增加而有利地增长，支持泛化性能。
• 树分解集成方法实现了环路图模型的精确推理，将框架扩展至复杂的真实世界结构化预测问题。
• 该方法通过将推理分解为一系列高效、分层的步骤，使高阶、此前不可行的模型得以应用。