[论文解读] Twin Networks: Using the Future as a Regularizer.

Dmitriy Serdyuk, Nan Rosemary Ke+3 more|arXiv (Cornell University)|Aug 22, 2017

Topic Modeling参考文献 7被引用 7

一句话总结

该论文提出Twin Networks，一种新颖的RNN架构，通过同时训练一个前向RNN预测下一个标记，以及一个反向RNN预测序列的逆序，从而增强长期依赖建模。通过在每个标记处强制前向与反向网络之间的状态对应，该模型隐式地对未来进行规划，从而实现更全局一致的生成；在语音识别任务中，该方法实现了12%的相对性能提升，将CER从7.6降低至6.7。

ABSTRACT

Being able to model long-term dependencies in sequential data, such as text, has been among the long-standing challenges of recurrent neural networks (RNNs). This issue is strictly related to the absence of explicit planning in current RNN architectures. More explicitly, the RNNs are trained to predict only the next token given previous ones. In this paper, we introduce a simple way of encouraging the RNNs to plan for the future. In order to accomplish this, we introduce an additional neural network which is trained to generate the sequence in reverse order, and we require closeness between the states of the forward RNN and backward RNN that predict the same token. At each step, the states of the forward RNN are required to match the future information contained in the backward states. We hypothesize that the approach eases modeling of long-term dependencies thus helping in generating more globally consistent samples. The model trained with conditional generation for a speech recognition task achieved 12\% relative improvement (CER of 6.7 compared to a baseline of 7.6).

研究动机与目标

• 解决循环神经网络（RNNs）在建模长期依赖时面临的挑战，其失败常源于缺乏显式规划。
• 克服标准RNN仅基于过去上下文预测下一个标记、而未考虑未来上下文的局限性。
• 通过双网络架构在训练过程中引入未来信息，改善序列生成的全局连贯性。
• 在条件生成任务中实现更好的泛化与一致性，特别是在语音和文本等序列数据中。
• 通过前向感知训练的简单但有效的正则化机制，展示其有效性，即利用前向与反向RNN之间的状态匹配。

提出的方法

• 提出一种双网络架构，包括一个按时间顺序处理序列的前向RNN，以及一个以相反顺序处理序列的反向RNN。
• 通过联合目标端到端训练两个网络，强制前向与反向RNN在对应位置的隐藏状态对齐。
• 在每个时间步t，最小化前向RNN的隐藏状态与预测同一标记的反向RNN隐藏状态之间的距离。
• 将此状态对应关系作为正则化项，以促使前向RNN隐式规划未来上下文，从而改善长距离依赖建模。
• 在条件生成设置中应用该方法进行语音识别，其中模型基于音频特征生成转录文本。
• 使用标准RNN训练目标（如交叉熵损失）进行优化，同时引入状态匹配正则化损失。

实验结果

研究问题

• RQ1 在训练期间建模未来上下文是否能改善RNN中的长期依赖学习？
• RQ2 强制前向与反向RNN之间的状态对应是否能带来更全局一致的序列生成？
• RQ3 基于双向状态对齐的简单正则化机制是否能在需要长程连贯性的任务中超越标准RNN？
• RQ4 前向感知训练在多大程度上能降低语音识别等序列建模任务中的错误率？
• RQ5 与标准RNN相比，双网络架构在泛化能力与长序列鲁棒性方面表现如何？

主要发现

• 所提出的Twin Networks方法在语音识别任务中实现了12%的相对CER改进，将CER从基线的7.6降低至6.7。
• 由于通过反向RNN引入了未来上下文，该模型在生成序列中表现出更强的全局一致性。
• 状态匹配正则化有效促使前向RNN提前规划，从而在不增加网络复杂度的前提下改善了长期依赖建模。
• 该方法在无需额外参数或复杂训练流程的情况下，仅通过标准RNN训练即可实现性能提升。
• 结果表明，通过双向状态对齐实现的显式未来规划，是RNN的一种可行且有效的正则化策略。
• 尽管方法简单，但性能提升显著，表明前向感知训练可作为序列建模中一种强大的归纳偏差。