[论文解读] Structured Prediction Theory Based on Factor Graph Complexity

Corinna Cortes, Mehryar Mohri+2 more|arXiv (Cornell University)|May 20, 2016

Bayesian Modeling and Causal Inference被引用 14

一句话总结

本文提出了一种基于因子图复杂度的结构化预测新型理论框架，为广泛损失函数和假设集提供了紧致的数据相关边界保证。该框架提出了Voted Conditional Random Field（VCRF）和Voted Structured Boosting（StructBoost）算法，通过利用Voted Risk Minimization实现复杂因子图上的有效学习，同时保持强泛化边界。

ABSTRACT

We present a general theoretical analysis of structured prediction with a series of new results. We give new data-dependent margin guarantees for structured prediction for a very wide family of loss functions and a general family of hypotheses, with an arbitrary factor graph decomposition. These are the tightest margin bounds known for both standard multi-class and general structured prediction problems. Our guarantees are expressed in terms of a data-dependent complexity measure, factor graph complexity, which we show can be estimated from data and bounded in terms of familiar quantities. We further extend our theory by leveraging the principle of Voted Risk Minimization (VRM) and show that learning is possible even with complex factor graphs. We present new learning bounds for this advanced setting, which we use to design two new algorithms, Voted Conditional Random Field (VCRF) and Voted Structured Boosting (StructBoost). These algorithms can make use of complex features and factor graphs and yet benefit from favorable learning guarantees. We also report the results of experiments with VCRF on several datasets to validate our theory.

研究动机与目标

• 开发一种结构化预测的通用理论分析，超越简单损失函数和特定因子图模型的限制。
• 解决复杂结构化预测问题中缺乏理论保证的问题，特别是涉及非汉明损失（如编辑距离）的情况。
• 引入一种数据相关的复杂度度量——因子图复杂度，以实现更紧致且更实用的学习边界。
• 通过Voted Risk Minimization（VRM）理论扩展，支持在复杂、高维因子图上进行学习。
• 设计新算法（VCRF 和 StructBoost），结合理论成果，在模型复杂度下仍保持有利的泛化保证。

提出的方法

• 提出因子图复杂度作为数据相关的复杂度度量，用于量化结构化预测模型的表达能力和泛化能力。
• 推导出新的基于边界（margin-based）泛化边界，其紧致性优于现有结果，并适用于任意因子图分解和广泛损失函数族。
• 将Talagrand的压缩引理推广至非线性、结构化假设集的上下文，以支持因子图中的分析。
• 将Voted Risk Minimization（VRM）原则应用于组合多个复杂模型，实现高复杂度因子图上的学习，同时保持泛化保证。
• 利用加权有限自动机（WFA）和有向无环图上的动态规划，开发高效的推理与梯度计算技术，实现在因子图规模上线性时间的计算。
• 设计两种新算法——Voted Conditional Random Field（VCRF）和Voted Structured Boosting（StructBoost）——将理论洞见整合到实际、可扩展的学习系统中。

实验结果

研究问题

• RQ1 我们能否为结构化预测推导出更紧致、数据相关的泛化边界，使其适用于任意损失函数和因子图分解？
• RQ2 如何定义并估计一种复杂度度量，以反映具有复杂因子图的结构化预测模型的真实泛化能力？
• RQ3 Voted Risk Minimization 原理能否扩展至结构化预测，以支持在复杂、高维模型上学习，同时保持理论保证？
• RQ4 可以开发哪些高效的推理与优化技术，以将所提理论扩展至真实世界的结构化预测任务？
• RQ5 所提出的算法（VCRF 和 StructBoost）在实际中是否相比标准结构化预测模型展现出更优的性能与泛化能力？

主要发现

• 所提出的因子图复杂度度量可从数据中估计，并可用特征稀疏性和图结构等熟悉量表示其上界，从而实现泛化边界中的实用应用。
• 新的基于边界的泛化边界优于现有结果，在多分类和结构化预测问题上均优于Taskar等人（2003）的工作。
• 该理论通过利用Voted Risk Minimization，使复杂因子图的学习成为可能，该方法可组合多个复杂模型，同时保持有利的泛化保证。
• VCRF 和 StructBoost 算法在多个数据集上进行了实证验证，结果表明其在保持理论保证的同时实现了优异性能。
• 通过加权有限自动机（WFA）开发了高效的梯度与推理算法，实现在因子图规模上线性时间的计算，使该方法可扩展至大规模结构化预测任务。
• 该框架支持非汉明损失（如编辑距离），此前这些损失在结构化预测中缺乏紧致理论保证。