[论文解读] On Training Recurrent Networks with Truncated Backpropagation Through Time in Speech Recognition

Hao Tang, James Glass|arXiv (Cornell University)|Jul 9, 2018

Speech Recognition and Synthesis参考文献 19被引用 5

一句话总结

本文研究了训练与解码策略（特别是在线解码与批量解码）如何影响循环网络在语音识别中学习长期依赖关系的能力。研究结果表明，批量解码会限制LSTM学习马尔可夫类函数，而在线解码则可实现递归函数的学习；关键在于，训练与解码模式必须保持一致才能实现最佳性能，而梯度消失则成为马尔可夫行为的关键指标。

ABSTRACT

Recurrent neural networks have been the dominant models for many speech and language processing tasks. However, we understand little about the behavior and the class of functions recurrent networks can realize. Moreover, the heuristics used during training complicate the analyses. In this paper, we study recurrent networks' ability to learn long-term dependency in the context of speech recognition. We consider two decoding approaches, online and batch decoding, and show the classes of functions to which the decoding approaches correspond. We then draw a connection between batch decoding and a popular training approach for recurrent networks, truncated backpropagation through time. Changing the decoding approach restricts the amount of past history recurrent networks can use for prediction, allowing us to analyze their ability to remember. Empirically, we utilize long-term dependency in subphonetic states, phonemes, and words, and show how the design decisions, such as the decoding approach, lookahead, context frames, and consecutive prediction, characterize the behavior of recurrent networks. Finally, we draw a connection between Markov processes and vanishing gradients. These results have implications for studying the long-term dependency in speech data and how these properties are learned by recurrent networks.

研究动机与目标

• 理解不同的解码策略（在线与批量）如何限制循环网络可学习的功能类别。
• 研究使用截断时间反向传播（BPTT）进行训练对模型性能与泛化能力的影响。
• 考察设计选择（如前瞻机制、上下文帧数和连续预测）如何影响LSTM在长期依赖关系学习中的表现。
• 建立循环网络中马尔可夫假设、利普希茨连续性与梯度消失之间的联系。
• 确定使用批量解码训练的LSTM是否能有效泛化到在线推理，反之亦然。

提出的方法

• 比较两种解码方法：在线解码（单个循环链在每个时间步进行预测）与批量解码（多个独立链，具有固定上下文窗口）。
• 在训练过程中使用固定展开长度的截断时间反向传播（BPTT），以近似长期依赖关系。
• 采用前瞻机制（例如20帧）使模型在训练期间能够基于未来上下文进行条件预测。
• 应用上下文帧以限制预测期间可访问的有效历史，模拟固定阶马尔可夫过程。
• 引入连续预测，即模型按顺序预测多个输出，以近似递归函数学习。
• 通过远距离时间步（例如t−20）的输入梯度范数进行实证评估，作为利普希茨连续性和马尔可夫行为的代理指标。

实验结果

研究问题

• RQ1 在线解码与批量解码策略如何限制循环网络可学习的功能类别？
• RQ2 使用截断BPTT进行训练是否能保持建模长期依赖关系的能力，其与马尔可夫假设有何关联？
• RQ3 使用批量解码训练的LSTM能否泛化到在线推理，反之亦然？
• RQ4 超参数如前瞻长度、上下文帧数和连续预测如何影响模型性能与功能容量？
• RQ5 梯度消失现象是否为循环网络中马尔可夫函数的必要条件？

主要发现

• 使用批量解码训练的LSTM在远距离时间步（例如t−20）表现出梯度范数消失，证实其行为类似马尔可夫过程。
• 使用在线解码训练的LSTM在远距离输入处保持非零梯度范数，表明其能够学习超越固定阶马尔可夫模型的递归函数。
• 当训练与解码模式一致时性能最佳：使用在线解码训练的LSTM在批量解码下表现差，反之亦然。
• 在在线解码下，增加前瞻长度（例如20帧）可显著降低训练误差，凸显其在长上下文学习中的重要性。
• 增加连续预测步数（例如15步）可提升性能（FER从56.96%降至30.93%），推动模型向递归函数学习方向发展。
• 上下文帧数量严格限制了可用于预测的历史长度，当上下文过短时（例如30帧对比40帧），性能会下降。