[论文解读] Task Loss Estimation for Sequence Prediction

Dzmitry Bahdanau, Dmitriy Serdyuk+5 more|arXiv (Cornell University)|Nov 19, 2015

Topic Modeling参考文献 26被引用 28

一句话总结

本文提出任务损失估计（TLE），一种用于序列预测的新颖代理损失，其直接将任务损失（如字符错误率）建模为每个输入-输出对的目标得分。通过训练模型以预测这些任务损失值并最小化估计误差，TLE 确保与实际任务损失的一致性，从而在无需外部语言模型的情况下，使自动语音识别中的字符错误率（CER）相对降低13%。

ABSTRACT

Often, the performance on a supervised machine learning task is evaluated with a emph{task loss} function that cannot be optimized directly. Examples of such loss functions include the classification error, the edit distance and the BLEU score. A common workaround for this problem is to instead optimize a emph{surrogate loss} function, such as for instance cross-entropy or hinge loss. In order for this remedy to be effective, it is important to ensure that minimization of the surrogate loss results in minimization of the task loss, a condition that we call emph{consistency with the task loss}. In this work, we propose another method for deriving differentiable surrogate losses that provably meet this requirement. We focus on the broad class of models that define a score for every input-output pair. Our idea is that this score can be interpreted as an estimate of the task loss, and that the estimation error may be used as a consistent surrogate loss. A distinct feature of such an approach is that it defines the desirable value of the score for every input-output pair. We use this property to design specialized surrogate losses for Encoder-Decoder models often used for sequence prediction tasks. In our experiment, we benchmark on the task of speech recognition. Using a new surrogate loss instead of cross-entropy to train an Encoder-Decoder speech recognizer brings a significant ~13% relative improvement in terms of Character Error Rate (CER) in the case when no extra corpora are used for language modeling.

研究动机与目标

• 解决序列预测中不可微的任务损失函数（如 CER、BLEU）与标准代理损失（如交叉熵）之间的不一致性。
• 开发一种代理损失，通过将任务损失本身建模为每个输出的目标得分，从而在理论上保证最小化实际任务损失。
• 通过为每个序列元素分配精确的目标得分，提升编码器-解码器模型的训练效率和泛化能力。
• 实现端到端训练，使其更符合下游评估指标，尤其在结构化预测任务中。
• 证明在低资源设置下，TLE 在无外部语言模型时优于标准交叉熵训练。

提出的方法

• 提出一种基于评分函数估计误差的代理损失，该评分函数被训练以预测每个输入-输出对的真实任务损失。
• 为每个可能的输出序列定义目标得分，且独立于其他输出，从而确保与任务损失的一致性。
• 通过将总得分分解为逐元素贡献，并为每个项分配独立目标，将该方法应用于编码器-解码器模型。
• 使用可微分损失函数，通过最小化预测任务损失得分与目标任务损失得分之间的均方误差。
• 通过直接根据输出的实际任务损失惩罚错误输出，而非仅根据其与真实标签的偏差，实现对模型错误的训练。
• 保持计算效率，训练速度与交叉熵相当，并支持贪婪搜索和束搜索推理。

实验结果

研究问题

• RQ1 能否构建一种代理损失，使得最小化该损失可保证最小化序列预测中的实际任务损失？
• RQ2 当任务损失不可微时（如字符错误率或 BLEU 分数），如何推导出一种可微分的代理损失？
• RQ3 为每个输出序列分配精确的目标得分，是否能提升序列到序列任务中的模型泛化能力和推理质量？
• RQ4 在无外部语言模型的低资源设置下，任务损失估计是否能优于标准交叉熵训练？
• RQ5 所提出的方法对贪婪搜索和束搜索解码策略的性能有何影响？

主要发现

• 任务损失估计（TLE）在无外部语言模型的语音识别任务中，相较于交叉熵训练，实现了 13% 的字符错误率（CER）相对降低。
• TLE 模型在不同束搜索大小下均表现出一致的改进，最佳性能出现在束搜索大小为 10 时，而交叉熵模型在束搜索大小超过 100 后无进一步增益。
• 尽管句子错误率（SER）本质上是一种分类错误，TLE 模型的 SER 始终低于交叉熵模型，这挑战了交叉熵在该类任务中为最优的假设。
• 在束搜索大小为 1 时，TLE 模型在 eval92 数据集上的 CER 为 6.1%，而交叉熵模型为 7.6%，表明在无语言建模条件下有显著改进。
• TLE 模型在不同束搜索大小下表现稳定，当束搜索大小从 10 降低到 1 时，性能下降极小，表明其对推理策略具有鲁棒性。
• 即使在使用标准或扩展语言模型时，TLE 模型在部分指标（如扩展语言模型下的 SER）上仍优于交叉熵，尽管增益小于无语言模型设置下的提升。