[论文解读] Tight Error Bounds for Structured Prediction

Amir Globerson, Tim Roughgarden+2 more|arXiv (Cornell University)|Sep 19, 2014

Natural Language Processing Techniques参考文献 30被引用 10

一句话总结

本文首次对网格结构模型中的结构化预测误差进行了理论分析，表明一种两步多项式时间算法通过先求解最大割问题，再进行节点证据精炼，可实现信息论意义下的近似最优汉明误差。该方法在精确推断不可行的情况下仍能达到最优性能，为实践中启发式算法的有效性提供了理论依据。

ABSTRACT

Structured prediction tasks in machine learning involve the simultaneous prediction of multiple labels. This is typically done by maximizing a score function on the space of labels, which decomposes as a sum of pairwise elements, each depending on two specific labels. Intuitively, the more pairwise terms are used, the better the expected accuracy. However, there is currently no theoretical account of this intuition. This paper takes a significant step in this direction. We formulate the problem as classifying the vertices of a known graph $G=(V,E)$, where the vertices and edges of the graph are labelled and correlate semi-randomly with the ground truth. We show that the prospects for achieving low expected Hamming error depend on the structure of the graph $G$ in interesting ways. For example, if $G$ is a very poor expander, like a path, then large expected Hamming error is inevitable. Our main positive result shows that, for a wide class of graphs including 2D grid graphs common in machine vision applications, there is a polynomial-time algorithm with small and information-theoretically near-optimal expected error. Our results provide a first step toward a theoretical justification for the empirical success of the efficient approximate inference algorithms that are used for structured prediction in models where exact inference is intractable.

研究动机与目标

• 为了从理论上解释近似推断在结构化预测中的经验成功，尤其是在精确推断不可行的模型中。
• 为了刻画在图上具有相关标签的结构化预测任务中，实现低汉明误差的条件。
• 为了分析图结构（尤其是扩展图与网格状拓扑）对预测误差基本极限的影响。
• 为了开发一种具有可证明误差保证的多项式时间算法，使其接近汉明误差的信息论下界。
• 为了弥合机器视觉与自然语言处理应用中启发式推断方法的理论极限与实际性能之间的差距。

提出的方法

• 将结构化预测建模为在图 $G = (V, E)$ 上恢复隐藏标签配置的问题，其中节点和边的观测是真实标签的噪声版本。
• 使用具有节点势和边势的成对马尔可夫随机场来建模后验分布，其形式与视觉和自然语言处理中的模型类似。
• 提出一种两步算法：首先在图上求解最大割问题以实现全局一致性；其次利用单个节点观测打破对称性并精炼预测结果。
• 采用组合论证方法界定最坏情况下的汉明误差，表明该算法的误差在信息论最小值的常数倍范围内。
• 采用半随机对抗者模型分析鲁棒性，表明最坏情况误差界与纯随机噪声下的误差界相当。
• 通过在 $20 \times 20$ 网格图上的合成实验验证理论结果，将两步算法与边缘推断、局部线性规划（LP）及环路LP松弛方法进行比较。

实验结果

研究问题

• RQ1 在何种图结构下，结构化预测中的低期望汉明误差在理论上是可实现的？
• RQ2 在精确推断不可行的结构化预测中，多项式时间算法能否实现接近信息论下界误差？
• RQ3 节点噪声与边噪声之间的相互作用如何影响网格结构模型中预测准确性的基本极限？
• RQ4 为何启发式推断算法（如LP松弛与对偶分解）尽管在最坏情况下为NP难，却在实践中表现良好？
• RQ5 评分函数结构（如网格上的成对势）在多大程度上决定了边缘推断与MAP推断之间的性能差距？

主要发现

• 对于2D网格图，两步多项式时间算法实现的汉明误差在信息论意义上接近最优，与下界仅相差一个常数因子。
• 该算法在半随机噪声下表现稳健，其误差界与纯随机噪声下的误差界等价，表明具有强理论保证。
• 在 $20 \times 20$ 网格的合成实验中，当节点噪声 $q = 0.4$ 时，两步算法在低边噪声水平下几乎与最优边缘推断性能一致。
• 在低噪声区域，环路LP松弛的性能几乎与边缘推断相当，表明对于具有外部场的平面图，环路约束可产生紧致近似。
• 局部LP松弛的性能显著劣于两步算法与环路LP，凸显了全局一致性约束的重要性。
• 理论分析表明，性能较差的图扩展器（如路径）必然导致较大的期望汉明误差，表明图拓扑从根本上限制了预测准确性。