[论文解读] Why does CTC result in peaky behavior?

Albert Zeyer, Ralf Schlüter+1 more|arXiv (Cornell University)|May 31, 2021

Epilepsy research and treatmentMedicine参考文献 29被引用 18

一句话总结

本文对连接时序分类（CTC）损失为何导致峰值行为（即模型在时间上集中于单一标签，如空标签）提供了形式化分析，原因在于从均匀初始化出发的梯度下降动力学。研究证明，CTC训练可能收敛至次优的、具有峰值特性的解，即使在简单任务上误差率也达100%，并表明引入标签先验模型可消除峰值行为，使模型收敛至最优的非峰值解，误差率为零。

ABSTRACT

The peaky behavior of CTC models is well known experimentally. However, an understanding about why peaky behavior occurs is missing, and whether this is a good property. We provide a formal analysis of the peaky behavior and gradient descent convergence properties of the CTC loss and related training criteria. Our analysis provides a deep understanding why peaky behavior occurs and when it is suboptimal. On a simple example which should be trivial to learn for any model, we prove that a feed-forward neural network trained with CTC from uniform initialization converges towards peaky behavior with a 100% error rate. Our analysis further explains why CTC only works well together with the blank label. We further demonstrate that peaky behavior does not occur on other related losses including a label prior model, and that this improves convergence.

研究动机与目标

• 为了形式化解释CTC训练模型中峰值行为的根本原因，该现象虽已通过实验观察到，但尚未得到理论理解。
• 为了研究为何从均匀初始化出发的梯度下降会导致CTC中出现次优局部最优解，且输出分布呈现峰值特性。
• 为了阐明空标签在防止发散并实现收敛中的关键作用。
• 为了证明通过修改训练准则（特别是引入标签先验模型）可避免峰值行为。
• 为了对比CTC与其他训练准则，表明仅CTC因特定损失结构和标签拓扑而表现出峰值行为。

提出的方法

• 使用SymPy进行符号计算，对CTC损失函数及其在均匀初始化下的梯度动力学进行形式化数学分析。
• 构建一个最小化的合成示例（如B*a+ B*），以隔离并展示前馈神经网络中的峰值收敛现象。
• 推导CTC损失相对于模型参数的梯度，表明其倾向于使概率质量集中于空标签。
• 引入并分析一种修改后的训练准则，该准则包含标签先验，形式化为对齐路径进行边缘化的生成模型。
• 使用TensorFlow和RETURNN在合成数据集上进行实证验证，比较标准CTC与先验增强CTC的收敛行为。
• 采用基于softplus或sigmoid的参数化方式重参数化模型，以分析梯度流动与收敛路径。

实验结果

研究问题

• RQ1 为何在简单序列学习任务上，使用梯度下降从均匀初始化训练CTC仍会导致峰值行为？
• RQ2 空标签在CTC中防止或促成收敛至峰值解方面起到何种作用？
• RQ3 为何引入标签先验模型可消除峰值行为并改善序列建模中的收敛性？
• RQ4 CTC的局部收敛特性与其他序列训练准则（如标签先验模型或全和边缘化）有何不同？
• RQ5 在何种条件下峰值行为会变得次优？能否通过损失函数修改形式化避免？

主要发现

• 从均匀初始化开始，使用CTC训练的前馈神经网络在简单、平凡的序列任务（如B*a+ B*）上收敛至峰值解，误差率达100%，证明峰值行为是CTC准则的根本缺陷。
• 峰值行为源于标签拓扑结构以及对齐空间中空标签的主导性，这使得梯度下降倾向于将概率质量集中于空标签，而牺牲其他标签。
• 空标签对于CTC中的收敛至关重要；若无空标签，峰值行为将更加严重，且无法收敛至有意义的对齐结果。
• 当将标签先验模型引入训练准则时，可完全消除峰值行为，并使模型收敛至全局最优解，误差率为零，该结论在合成实验中得到验证。
• 对齐路径进行全和边缘化的生成模型（不具CTC的特定结构）从均匀初始化出发可收敛至非峰值、最优解，证明峰值行为特异性源于CTC的损失公式化。
• 分析表明，如FFNN等局部上下文模型在CTC训练下表现次优，因其无法逃离峰值局部最优，凸显了在CTC训练下架构的局限性。