[论文解读] SLUA: A Super Lightweight Unsupervised Word Alignment Model via Cross-Lingual Contrastive Learning.

Di Wu, Liang Ding+2 more|arXiv (Cornell University)|Feb 8, 2021

Topic Modeling参考文献 34被引用 6

一句话总结

该论文提出SLUA，一种超轻量级无监督词对齐模型，通过引入双向对称注意力机制、跨语言对比学习以及一致性损失，实现注意力图的镜像对称性。该模型在保持性能的同时，训练和推理速度比GIZA++快16.4倍，参数量相比基于Transformer的方法减少50倍。

ABSTRACT

Word alignment is essential for the down-streaming cross-lingual language understanding and generation tasks. Recently, the performance of the neural word alignment models has exceeded that of statistical models. However, they heavily rely on sophisticated translation models. In this study, we propose a super lightweight unsupervised word alignment (SLUA) model, in which bidirectional symmetric attention trained with a contrastive learning objective is introduced, and an agreement loss is employed to bind the attention maps, such that the alignments follow mirror-like symmetry hypothesis. Experimental results on several public benchmarks demonstrate that our model achieves competitive, if not better, performance compared to the state of the art in word alignment while significantly reducing the training and decoding time on average. Further ablation analysis and case studies show the superiority of our proposed SLUA. Notably, we recognize our model as a pioneer attempt to unify bilingual word embedding and word alignments. Encouragingly, our approach achieves 16.4x speedup against GIZA++, and 50x parameter compression} compared with the Transformer-based alignment methods. We will release our code to facilitate the community.

研究动机与目标

• 开发一种轻量化、无监督的词对齐模型，以降低计算成本而不影响性能。
• 解决现有神经词对齐模型对复杂神经机器翻译模型的依赖问题。
• 通过共享的对称注意力机制，统一双语词嵌入与词对齐任务。
• 在保持或超越当前最先进对齐准确率的前提下，提升训练与推理效率。

提出的方法

• 提出双向对称注意力机制，促进源句与目标句之间注意力图的对称性。
• 采用对比学习目标，对齐嵌入空间中的跨语言词表示。
• 应用一致性损失，强制正向与反向注意力图之间的一致性，实现镜像对称性。
• 仅使用单语平行句对，端到端地进行无监督训练。
• 采用轻量化架构，以最小化参数量并加速训练与推理。
• 通过联合优化对齐与表示学习，统一双语词嵌入与词对齐任务。

实验结果

研究问题

• RQ1 是否能够设计一种轻量化、无监督的词对齐模型，在不依赖复杂神经机器翻译模型的前提下，实现具有竞争力的性能？
• RQ2 对称注意力结合对比学习在提升词对齐质量方面的有效性如何？
• RQ3 在不牺牲对齐准确率的前提下，参数效率与推理速度可提升到何种程度？
• RQ4 能否在一个统一的训练目标中有效整合双语词嵌入与词对齐任务？

主要发现

• SLUA在多个公开基准测试中，达到与当前最先进方法相当或更优的词对齐性能。
• 与GIZA++相比，训练与解码时间减少16.4倍。
• 相比基于Transformer的对齐模型，参数量减少50倍。
• 消融实验证实，对比学习目标与一致性损失均有效提升了对齐质量。
• 案例研究显示，SLUA在低资源设置下能生成更连贯、更对称的对齐结果。
• SLUA是首个在单一轻量化框架中统一双语词嵌入与词对齐任务的模型。