[论文解读] Unsupervised Multi-modal Neural Machine Translation

Yuanhang Su, Kai Fan+3 more|arXiv (Cornell University)|Nov 28, 2018

Natural Language Processing Techniques参考文献 30被引用 14

一句话总结

本文提出了一种无监督多模态神经机器翻译（UMNMT）框架，通过利用图像-文本对齐来改善无监督神经机器翻译，方法是基于视觉特征施加循环一致性。通过在单模态和多模态数据上联合训练，采用自编码与循环一致性损失，该模型在Multi30K数据集上实现了显著的BLEU分数提升——最高提升4.33分，即使在推理阶段没有图像输入的情况下依然表现稳健，证明了视觉上下文在提升消歧能力方面的有效性。

ABSTRACT

Unsupervised neural machine translation (UNMT) has recently achieved remarkable results with only large monolingual corpora in each language. However, the uncertainty of associating target with source sentences makes UNMT theoretically an ill-posed problem. This work investigates the possibility of utilizing images for disambiguation to improve the performance of UNMT. Our assumption is intuitively based on the invariant property of image, i.e., the description of the same visual content by different languages should be approximately similar. We propose an unsupervised multi-modal machine translation (UMNMT) framework based on the language translation cycle consistency loss conditional on the image, targeting to learn the bidirectional multi-modal translation simultaneously. Through an alternate training between multi-modal and uni-modal, our inference model can translate with or without the image. On the widely used Multi30K dataset, the experimental results of our approach are significantly better than those of the text-only UNMT on the 2016 test dataset.

研究动机与目标

• 为解决无监督神经机器翻译（UNMT）固有的病态性问题，该问题源于源语言与目标语言之间句子对齐的模糊性。
• 探究视觉信号是否可通过在不同语言间充当共享语义枢纽，降低UNMT中的不确定性。
• 开发一个统一框架，支持在训练和推理阶段同时处理纯文本与图文增强的翻译任务。
• 通过在训练阶段引入图像作为辅助监督信号，提升模型的泛化能力与收敛性，即使在测试阶段无图像输入时亦可实现。

提出的方法

• 该框架采用两个基于Transformer的编码器-解码器结构，实现双向翻译，并配备一个共享的图像特征提取器。
• 引入一种基于图像特征的循环一致性损失，以强制保证源句、翻译句与反向翻译句之间的一致性。
• 应用自编码损失，从编码表示中重建输入句子，以增强特征学习能力。
• 模型在单模态（仅文本）与多模态（文本+图像）数据之间交替训练，实现对混合数据格式的灵活处理。
• 设计了一种新颖的联合注意力机制，用于在Transformer架构中建模文本与视觉特征之间的跨模态关系。
• 训练过程采用序列交叉熵（SCE）和基于KL散度的损失，以优化对齐与互信息。

实验结果

研究问题

• RQ1 图像能否作为消歧信号，通过减少句子对齐的不确定性，从而改善无监督神经机器翻译？
• RQ2 在训练阶段引入视觉特征是否能带来更好的泛化性能，即使在推理阶段无图像输入？
• RQ3 与标准基准上的纯文本无监督NMT相比，多模态监督在多大程度上提升了翻译质量？
• RQ4 所提出的基于图像的循环一致性损失在多大程度上促进了有意义的跨语言表征学习？
• RQ5 统一模型是否能有效处理训练和推理阶段的单模态与多模态输入，而无需架构上的专门化设计？

主要发现

• 当同时使用文本与图像输入时，UMNMT模型在En→Fr翻译方向上达到16.10的BLEU分数，较仅使用文本的基线模型（13.26）提升了2.84分。
• 在En→Fr方向上，即使在推理阶段不使用图像，经过图像训练的模型仍比仅文本训练的模型高出4.33 BLEU分，表明其优化与泛化能力得到显著提升。
• 在完整Multi30K数据集上训练的模型，当推理阶段使用图像时，En→Fr方向的BLEU分数相比仅文本模型提升了5.52分（从1.19提升至6.69），显示出持续的性能增益。
• 视觉注意力热力图显示，模型能够学习聚焦于相关图像区域，如“orange”、“chapeau”和“t-shirt”，并与语言标记对齐，从而改善对齐效果。
• 文本注意力矩阵在更深的Transformer层中逐渐呈现对角线分布，表明由于语言间共享的语法结构，注意力聚焦能力得到增强。
• 该模型在未见数据上保持了强劲性能，在De→En方向上使用图像时BLEU分数提升了3.12分，表明在不同语言对之间均表现出一致的性能增益。