[论文解读] Neural Baselines for Word Alignment

Anh Khoa Ngo Ho, François Yvon|arXiv (Cornell University)|Nov 2, 2019

Natural Language Processing Techniques参考文献 37被引用 9

一句话总结

本文提出经典IBM-1和HMM词对齐模型的神经网络变体，用前馈神经网络替代离散计数型翻译模型，以提升对齐准确率。结果表明，神经化模型显著优于Giza++和Fastalign等传统工具，尤其在词形丰富的语言中表现突出，非空对齐错误大幅减少，AER显著降低。

ABSTRACT

Word alignments identify translational correspondences between words in a parallel sentence pair and is used, for instance, to learn bilingual dictionaries, to train statistical machine translation systems , or to perform quality estimation. In most areas of natural language processing, neural network models nowadays constitute the preferred approach, a situation that might also apply to word alignment models. In this work, we study and comprehensively evaluate neural models for unsupervised word alignment for four language pairs, contrasting several variants of neural models. We show that in most settings, neural versions of the IBM-1 and hidden Markov models vastly outperform their discrete counterparts. We also analyze typical alignment errors of the baselines that our models overcome to illustrate the benefits-and the limitations-of these new models for morphologically rich languages.

研究动机与目标

• 探究基于神经网络的模型是否能相比经典统计模型提升无监督词对齐性能。
• 评估神经化对不同语言对对齐质量的影响，尤其关注词形丰富的语言。
• 分析基线模型中的错误类型，并评估神经变体如何缓解这些问题。
• 为未来无监督词对齐研究建立强有力的神经基线。

提出的方法

• 通过用前馈神经网络替代离散翻译模型，提出IBM-1+NN和HMM+NN模型，该网络基于目标词嵌入预测源词概率。
• 引入上下文翻译建模，使用大小为2h+1的目标词嵌入滑动窗口，将局部上下文信息融入对齐预测。
• 探索基于字符的模型，利用CNN编码目标词，提升对罕见词或未登录词的处理能力。
• 采用EM算法结合基于梯度的优化方法训练神经模型参数，同时在E步中保持Baum-Welch算法计算对齐后验概率。
• 使用固定大小的目标词表，并在源词上应用softmax，计算神经翻译组件中的对齐概率。
• 应用对称化处理和来自计数型模型的弱监督，以提升对齐一致性和泛化能力。

实验结果

研究问题

• RQ1 在多个语言对上，IBM-1和HMM词对齐模型的神经变体与离散对应模型相比性能如何？
• RQ2 上下文模型和基于字符的神经模型在多大程度上减少了对齐错误，尤其是对罕见词或词形复杂的词？
• RQ3 神经模型最有效缓解了哪些类型的对齐错误（如非空链接、空预测）？
• RQ4 性能提升在不同词形复杂度和资源可用性差异的语言对中如何变化？

主要发现

• 神经化后的IBM-1和HMM模型显著优于其离散对应模型，尤其在词形丰富的语言（如捷克语和罗马尼亚语）中AER改善最为显著。
• IBM-1+NN模型平均将非空对齐错误减少40%，尤其能纠正如将英语中的'liquidé'错误对齐至法语'voir'等罕见词的误对齐。
• 上下文模型（NN+CtxCc）在频繁词对齐和局部句法上下文处理方面表现更优，降低了对齐噪声。
• 基于字符的模型对罕见词具有更强鲁棒性，尤其在低资源场景下表现良好，但性能增益较上下文或密集嵌入模型更有限。
• 尽管有所改进，空词预测仍是挑战，对齐跳跃（非单调对齐）的错误依然存在，表明结构建模问题尚未完全解决。
• 在英-罗马尼亚语对齐任务中，IBM-1+NN相比IBM-1将非空链接错误减少了131%，凸显了神经特征学习的优势。