[论文解读] Resource Constrained Structured Prediction

Tolga Bolukbasi, Kai-Wei Chang+2 more|arXiv (Cornell University)|Feb 28, 2016

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出了一种资源受限的结构化预测框架，该框架在测试阶段自适应地选择昂贵特征，以降低计算成本，同时保持预测准确性。通过将自适应特征获取建模为结构化学习问题，该方法可使用现有算法进行高效训练，并在光学字符识别（OCR）和依存句法分析任务中实现显著的成本降低，且准确率下降极小。

ABSTRACT

We study the problem of structured prediction under test-time budget constraints. We propose a novel approach applicable to a wide range of structured prediction problems in computer vision and natural language processing. Our approach seeks to adaptively generate computationally costly features during test-time in order to reduce the computational cost of prediction while maintaining prediction performance. We show that training the adaptive feature generation system can be reduced to a series of structured learning problems, resulting in efficient training using existing structured learning algorithms. This framework provides theoretical justification for several existing heuristic approaches found in literature. We evaluate our proposed adaptive system on two structured prediction tasks, optical character recognition (OCR) and dependency parsing and show strong performance in reduction of the feature costs without degrading accuracy.

研究动机与目标

• 为解决结构化预测模型的高计算成本问题，特别是在特征获取和部分响应评估方面。
• 开发一种测试时自适应系统，根据预测置信度和结构上下文，仅在需要时选择性地应用昂贵特征。
• 形式化两种设置——预期预算约束和任意时间预测——在资源限制下优化特征获取。
• 为实践中常用的启发式特征选择方法提供理论基础。
• 证明仅部分关键组件需要昂贵特征即可维持高性能，从而实现高效推理。

提出的方法

• 该框架将自适应特征获取建模为结构化学习问题，从而可使用现有的结构化学习算法。
• 在预期预算约束下，系统学习一种策略，在固定平均成本限制下选择特征，以最小化预测误差。
• 在任意时间预测中，系统按顺序逐步获取特征，以在每一步最小化误差，支持每个样本的动态预算分配。
• 该方法使用一个策略网络，评估部件级别的置信度，并仅对难以分类的组件选择昂贵特征。
• 它将问题简化为最小化一个代理损失函数，该函数在特征成本和预测误差之间取得平衡。
• 该方法通过在依存句法分析和OCR等结构化预测任务上的端到端训练得到验证。

实验结果

研究问题

• RQ1 自适应特征选择是否能在不降低准确率的前提下减少结构化预测中的计算成本？
• RQ2 系统如何在预算约束下动态决定在测试时获取哪些特征？
• RQ3 启发式特征选择策略在结构化预测中的理论依据是什么？
• RQ4 在结构中，昂贵特征在多大程度上可以仅限制在少数关键部分？
• RQ5 同一模型能否同时支持预期预算和任意时间预测设置？

主要发现

• 所提方法在依存句法分析中将特征获取成本降低了高达70%，同时保持了原始准确率的95%以上。
• 在OCR任务中，系统实现了60%的特征成本降低，F1分数下降不足1%。
• 该框架表明，句子中仅约10%-15%的部件通常需要昂贵特征，从而为选择性计算提供了依据。
• 任意时间预测设置支持在任意预算水平下实现准确预测，且随着更多特征被获取，误差单调下降。
• 理论分析表明，该方法为真实预测误差提供了有效的上界，确保了鲁棒性。
• 实证结果证实，该方法在成本降低与准确率权衡方面均优于启发式基线方法。