[论文解读] Structured Reordering for Modeling Latent Alignments in Sequence Transduction

Bailin Wang, Mirella Lapata+1 more|arXiv (Cornell University)|Jun 6, 2021

Natural Language Processing Techniques参考文献 60被引用 14

一句话总结

该论文提出了一种神经序列到序列模型，通过使用可分排列将分段级对齐建模为结构化隐变量，从而提升系统泛化能力。通过引入先重排后对齐的框架，并结合精确动态规划推理，该模型实现了端到端可微训练，在语义解析和机器翻译任务上取得了最先进性能，尤其在分布外设置下表现优异。

ABSTRACT

Despite success in many domains, neural models struggle in settings where train and test examples are drawn from different distributions. In particular, in contrast to humans, conventional sequence-to-sequence (seq2seq) models fail to generalize systematically, i.e., interpret sentences representing novel combinations of concepts (e.g., text segments) seen in training. Traditional grammar formalisms excel in such settings by implicitly encoding alignments between input and output segments, but are hard to scale and maintain. Instead of engineering a grammar, we directly model segment-to-segment alignments as discrete structured latent variables within a neural seq2seq model. To efficiently explore the large space of alignments, we introduce a reorder-first align-later framework whose central component is a neural reordering module producing {\it separable} permutations. We present an efficient dynamic programming algorithm performing exact marginal inference of separable permutations, and, thus, enabling end-to-end differentiable training of our model. The resulting seq2seq model exhibits better systematic generalization than standard models on synthetic problems and NLP tasks (i.e., semantic parsing and machine translation).

研究动机与目标

• 为解决标准序列到序列模型在分布外设置下的失败问题，特别是对已知概念的新组合进行系统泛化的能力不足。
• 通过实现非单调、结构化的分段级对齐，克服神经模型中单调对齐的局限性。
• 在通过潜在重排建模复杂、分层对齐的同时，保持端到端可微性。
• 通过离散潜在变量显式呈现分段到分段的对齐，提升模型可解释性。
• 通过从对齐建模中引入强归纳偏置，提升低资源和弱监督设置下的性能。

提出的方法

• 提出一种先重排后对齐的框架，其中输入序列通过神经模块重新排序，生成可分排列。
• 使用分层排列树对可分排列进行建模，以反映语言结构并支持高效推理。
• 开发一种高效的动态规划算法，实现对可分排列的精确边缘化和MAP推理。
• 对重排模块应用连续松弛，以支持端到端反向传播和可微训练。
• 将重排模块与现有单调对齐模块集成，以支持非单调、分段级对齐。
• 将所得模型应用于序列转换任务，如语义解析和机器翻译，并采用潜在对齐监督。

实验结果

研究问题

• RQ1 建模结构化、非单调的分段级对齐是否能提升神经序列到序列模型的系统泛化能力？
• RQ2 如何在神经架构中高效地推理和端到端训练可分排列？
• RQ3 具有潜在排列的先重排方法是否在分布外泛化任务中优于标准序列到序列模型和单调对齐模型？
• RQ4 潜在对齐在多大程度上提升了序列生成中的模型可解释性？
• RQ5 该方法是否能在分布偏移下的真实世界NLP任务（如机器翻译和语义解析）中实现泛化？

主要发现

• 所提出的ReMoto模型，尤其是Hard-ReMoto变体，在EN-JA和ZH-EN翻译任务上均取得了最先进的BLEU分数，优于标准序列到序列模型和SSNT、局部重排等基线模型。
• 在ZH-EN翻译的LEN划分上，ReMoto取得了22.6的BLEU分数，显著优于序列到序列模型（21.4）和SSNT（20.5），表明其在分布外泛化方面表现更优。
• 在语义解析任务中，模型能够成功泛化到由训练分段新组合构成的测试样本，如定性示例所示，其对齐推理过程清晰可见。
• 该模型的优势在LEN划分（更长的句子）中更为显著，表明其在分布偏移下具备更强的泛化能力。
• 可分排列的使用使得通过动态规划实现高效精确推理成为可能，尽管搜索空间庞大，但端到端训练仍可行。
• 潜在对齐通过重新排序的输入显式关联输出分段与输入分段，提升了可解释性，为预测提供了推理依据。