[论文解读] Sequence Transduction with Recurrent Neural Networks

Alex Graves|arXiv (Cornell University)|Nov 14, 2012

Natural Language Processing Techniques参考文献 20被引用 1,292

一句话总结

本文提出一种基于两个循环神经网络（RNNs）的端到端可微分序列转换模型，联合建模输入-输出和输出-输出依赖关系，实现无需对齐的序列到序列学习。RNN转换器通过整合声学与语言信息，在无需预定义对齐或外部语言模型的情况下，在音素识别任务上达到最先进性能（1.0比特/音素对数损失，23.2%错误率）。

ABSTRACT

Many machine learning tasks can be expressed as the transformation---or \emph{transduction}---of input sequences into output sequences: speech recognition, machine translation, protein secondary structure prediction and text-to-speech to name but a few. One of the key challenges in sequence transduction is learning to represent both the input and output sequences in a way that is invariant to sequential distortions such as shrinking, stretching and translating. Recurrent neural networks (RNNs) are a powerful sequence learning architecture that has proven capable of learning such representations. However RNNs traditionally require a pre-defined alignment between the input and output sequences to perform transduction. This is a severe limitation since \emph{finding} the alignment is the most difficult aspect of many sequence transduction problems. Indeed, even determining the length of the output sequence is often challenging. This paper introduces an end-to-end, probabilistic sequence transduction system, based entirely on RNNs, that is in principle able to transform any input sequence into any finite, discrete output sequence. Experimental results for phoneme recognition are provided on the TIMIT speech corpus.

研究动机与目标

• 解决RNN在序列转换任务中需要预定义输入输出序列对齐的局限性。
• 开发一种可微分的端到端系统，可在无需对齐或输出长度先验知识的情况下建模可变长度输出序列。
• 整合输入序列表征与自回归输出建模，以提升对序列失真现象的鲁棒性。
• 实现声学与语言信息的联合学习，适用于语音识别与机器翻译等任务。
• 提供一种可扩展的可微分框架，用于序列到序列学习，且可泛化至语音识别之外的任务。

提出的方法

• 定义一种使用两个RNN的序列转换系统：上下文网络处理输入序列，预测网络处理先前生成的输出。
• 通过可微分评分函数，构建所有可能对齐与输出序列的联合概率分布。
• 引入扩展输出空间，包含一个空符号（φ）以表示“无输出”，并支持灵活的对齐建模。
• 使用随机梯度下降配合时间反向传播进行训练，优化目标序列的负对数似然。
• 采用可微分对齐机制，使梯度能同时通过输入和输出序列流动，支持端到端训练。
• 将转换器应用于原始语谱图，实现从输入特征到字符序列的端到端语音识别。

实验结果

研究问题

• RQ1 一种可微分的、基于RNN的端到端模型是否能在无需预定义输入输出对齐的情况下学习序列转换？
• RQ2 与CTC等方法相比，联合建模输入与输出依赖关系的方法在序列转换性能上能提升多少？
• RQ3 该模型在多大程度上能整合声学与语言信息，以提升对序列失真现象的鲁棒性？
• RQ4 该转换器能否泛化至输出长度可变的任务，如文本到语音或机器翻译？
• RQ5 模型输出对输入和先前输出的敏感程度如何？这种敏感性是否可可视化以理解所学依赖关系？

主要发现

• RNN转换器在TIMIT音素识别任务上实现1.0比特/音素的对数损失和23.2%的测试错误率，优于CTC（1.3比特，25.5%）和独立预测网络（4.0比特，72.9%）。
• 模型成功学习到输入语谱图与输出音素之间的时序对齐，可视化为注意力热图中的“时间扭曲”现象。
• 仅使用预测网络的性能较差（错误率为72.9%），表明与上下文网络联合建模对性能至关重要。
• 敏感性分析显示，该转换器对输入和输出序列中的长程依赖关系均表现出敏感性，双向上下文网络展现出更广的输入敏感范围。
• 通过输出图中的短垂直片段，模型捕捉到常见子序列模式（如' TH '、' HER '），表明其具备有效的序列建模能力。
• 该转换器实现了从原始语谱图到字符序列的端到端语音识别，跳过了中间的音素表示阶段。