[论文解读] Risk Minimization in Structured Prediction using Orbit Loss

Danny Karmon, Joseph Keshet|arXiv (Cornell University)|Dec 7, 2015

Domain Adaptation and Few-Shot Learning参考文献 19被引用 3

一句话总结

本文提出轨道损失（orbit loss），一种用于结构化预测的新颖代理损失，可在每次训练迭代中仅通过一次前向传播实现高效的期望风险最小化。尽管该损失函数是非凸的，但其具有简单的解析梯度和类似感知机的更新规则，展现出强大的理论一致性，性能与直接损失最小化方法相当，同时显著快于需要多次前向传播的方法。

ABSTRACT

We introduce a new surrogate loss function called orbit loss in the structured prediction framework, which has good theoretical and practical advantages. While the orbit loss is not convex, it has a simple analytical gradient and a simple perceptron-like learning rule. We analyze the new loss theoretically and state a PAC-Bayesian generalization bound. We also prove that the new loss is consistent in the strong sense; namely, the risk achieved by the set of the trained parameters approaches the infimum risk achievable by any linear decoder over the given features. Methods that are aimed at risk minimization, such as the structured ramp loss, the structured probit loss and the direct loss minimization require at least two inference operations per training iteration. In this sense, the orbit loss is more efficient as it requires only one inference operation per training iteration, while yields similar performance. We conclude the paper with an empirical comparison of the proposed loss function to the structured hinge loss, the structured ramp loss, the structured probit loss and the direct loss minimization method on several benchmark datasets and tasks.

研究动机与目标

• 开发一种用于结构化预测的代理损失函数，直接最小化期望风险，克服现有方法的局限性。
• 设计一种每次训练迭代仅需一次前向传播的训练规则，提升训练效率，优于需要多次前向传播的方法（如ramp、probit和直接损失最小化）。
• 建立理论保证，包括PAC-Bayesian泛化界和强一致性，确保模型收敛至最优线性解码器。
• 在基准任务上实证验证该方法，证明其性能可与最先进的风险最小化方法相媲美。

提出的方法

• 提出轨道损失作为结构化预测的代理损失函数，通过代价增强推理和输出空间中“轨道”的几何概念进行定义。
• 推导出轨道损失的闭式解析梯度，实现高效优化，无需蒙特卡洛采样或多轮前向传播。
• 提出一种类似感知机的更新规则，每个训练样本仅需一次前向传播，显著提升训练速度，优于需要两次或以上前向传播的方法。
• 为轨道损失建立PAC-Bayesian泛化界，提供有限样本下的理论保证。
• 证明强一致性：随着训练数据增加，轨道损失所实现的风险将收敛至在给定特征下所有线性解码器可达到的最小风险。
• 采用学习率调度策略 η = 1/√t 和 L2 正则化，λ = 0.001，针对每个基线在验证集上进行调优。

实验结果

研究问题

• RQ1 能否设计一种非凸代理损失，使得在结构化预测中仅通过每次训练迭代一次前向传播即可实现高效的期望风险最小化？
• RQ2 所提出的轨道损失是否具备强一致性，即随着训练数据增加，其能否收敛至所有线性预测器中可达到的最优风险？
• RQ3 与现有风险最小化方法（如结构化ramp损失、probit损失和直接损失最小化）相比，轨道损失在性能和效率方面表现如何？
• RQ4 轨道损失能否在保持计算效率的同时，实现与直接损失最小化相当的泛化性能？

主要发现

• 轨道损失的性能与直接损失最小化方法相当，各类 τb 和 τe 阈值下平均代价差异仅为一个帧或更少。
• 在元音起始/终止时间预测任务中，当 τb=0ms、τe=0ms 时，轨道损失在起始时间预测上的总代价为 1.308，终止时间预测为 4.178，优于结构化感知机和ramp损失。
• 使用轨道损失训练耗时 24 分钟 41 秒，效率与结构化感知机相当，显著优于probit损失（1天12小时47分钟）和ramp/直接损失（45分钟以上）。
• 理论分析表明轨道损失具备强一致性，随着训练数据增长，其风险将收敛至线性解码器族可达到的最优风险。
• PAC-Bayesian泛化界为模型在未见数据上的泛化性能提供了理论信心。
• 该方法在小到中等规模数据集上也保持高性能，表明其鲁棒性超越了渐近理论保证。