[论文解读] The Neural Noisy Channel

Lei Yu, Phil Blunsom+3 more|arXiv (Cornell University)|Nov 8, 2016

Natural Language Processing Techniques参考文献 21被引用 20

一句话总结

本文提出了一种神经噪声信道模型，通过联合训练信道模型 $p(\mathbf{x}|\mathbf{y})$ 和源模型 $p(\mathbf{y})$，利用成对的输入-输出数据以及大量未配对的输出数据，改进了序列到序列的转换。通过引入一个潜在对齐变量以实现增量解码，该模型实现了可处理的束搜索，并在未配对数据丰富时显著优于直接的序列到序列模型。

ABSTRACT

We formulate sequence to sequence transduction as a noisy channel decoding problem and use recurrent neural networks to parameterise the source and channel models. Unlike direct models which can suffer from explaining-away effects during training, noisy channel models must produce outputs that explain their inputs, and their component models can be trained with not only paired training samples but also unpaired samples from the marginal output distribution. Using a latent variable to control how much of the conditioning sequence the channel model needs to read in order to generate a subsequent symbol, we obtain a tractable and effective beam search decoder. Experimental results on abstractive sentence summarisation, morphological inflection, and machine translation show that noisy channel models outperform direct models, and that they significantly benefit from increased amounts of unpaired output data that direct models cannot easily use.

研究动机与目标

• 解决序列到序列任务中的数据不平衡问题，即未配对的输出数据远多于成对的输入-输出样本。
• 通过噪声信道建模方式，克服直接序列到序列模型中的“解释抵消”问题，强制输出解释输入。
• 通过独立建模 $p(\mathbf{y})$ 与 $p(\mathbf{x}|\mathbf{y})$，并利用输出的边缘分布，实现对未配对数据的有效利用。
• 通过引入一个潜在分割变量，设计一种可处理的解码算法，使模型能够基于输出前缀进行增量条件化。

提出的方法

• 模型使用一个潜在对齐变量 $\mathbf{z}$ 控制每个输出标记相对于输入序列读取的生成时机，从而实现增量解码。
• 信道模型 $p(\mathbf{x}|\mathbf{y})$ 由一个递归神经网络参数化，通过潜在变量对部分输出序列进行条件化，从而实现对输出前缀的因子分解。
• 源模型 $p(\mathbf{y})$ 在未配对的输出序列上进行训练，利用丰富的单语数据提升泛化能力。
• 解码通过束搜索执行，维护部分假设，并利用潜在变量跟踪已处理的输入片段。
• 通过动态规划在反向传播过程中精确地对潜在对齐变量进行边缘化，实现模型的联合训练。
• 该框架结合了直接模型与噪声信道模型，后者通过语言建模和输入解释提供互补的归纳偏置。

实验结果

研究问题

• RQ1 神经噪声信道模型能否有效利用未配对的输出数据，从而提升序列到序列任务的性能？
• RQ2 潜在对齐变量的使用是否能在具有长上下文条件的噪声信道模型中实现可处理的束搜索解码？
• RQ3 噪声信道建模方式在多大程度上缓解了直接序列到序列模型中常见的“解释抵消”问题？
• RQ4 当未配对数据丰富时，噪声信道模型在多大程度上优于直接模型？
• RQ5 将直接模型与噪声信道模型结合，能否带来进一步的性能提升？

主要发现

• 神经噪声信道模型在抽象摘要生成、词形变化和机器翻译任务中均优于直接序列到序列模型。
• 该模型显著受益于未配对输出数据，而直接模型难以有效利用此类数据，表明源模型组件具有重要价值。
• 在抽象摘要生成任务中，噪声信道模型生成的是改写表达（例如，“speed up”而非“accelerate”），而非依赖复制，体现出更强的生成能力。
• 通过强制输出解释输入，该模型降低了输入解释失败的风险，从而避免了“解释抵消”问题。
• 直接模型与噪声信道模型的联合训练带来了进一步的性能提升，表明两者具有互补优势。
• 通过引入潜在分割变量，实现了可处理的束搜索，支持单调的、增量式解码，且无需预先知道完整的输出序列。