[论文解读] Towards Multimodal Simultaneous Neural Machine Translation

Aizhan Imankulova, Masahiro Kaneko+2 more|arXiv (Cornell University)|Apr 7, 2020

Natural Language Processing Techniques参考文献 29被引用 7

一句话总结

本文提出多模态同时神经机器翻译（MSNMT），通过将视觉特征整合到等待-k的并行翻译框架中，提升低延迟翻译性能。在Multi30k数据集上的实验表明，MSNMT显著提升了翻译质量，尤其是在解码早期阶段，通过利用视觉上下文预测缺失的源语言词汇，优于仅使用文本的模型，尤其在词序差异较大的语言对（如英译日）中表现更优。

ABSTRACT

Simultaneous translation involves translating a sentence before the speaker's utterance is completed in order to realize real-time understanding in multiple languages. This task is significantly more challenging than the general full sentence translation because of the shortage of input information during decoding. To alleviate this shortage, we propose multimodal simultaneous neural machine translation (MSNMT), which leverages visual information as an additional modality. Our experiments with the Multi30k dataset showed that MSNMT significantly outperforms its text-only counterpart in more timely translation situations with low latency. Furthermore, we verified the importance of visual information during decoding by performing an adversarial evaluation of MSNMT, where we studied how models behaved with incongruent input modality and analyzed the effect of different word order between source and target languages.

研究动机与目标

• 为解决同时神经机器翻译（SNMT）中输入不完整的问题，即模型必须在源句完全接收前就开始翻译。
• 探究在SNMT早期解码阶段，视觉模态是否能弥补有限的文本上下文。
• 评估多模态信号在低延迟约束下提升翻译质量的有效性。
• 分析视觉信息如何影响翻译决策，特别是对词序不同的句法结构语言对的影响。
• 通过对抗性评估与消融实验，验证模型是否真正利用了视觉输入。

提出的方法

• 所提出的MSNMT模型采用固定的等待-k策略，即在源输入后k个词的位置生成目标翻译，以确保低延迟。
• 图像的视觉特征通过卷积神经网络（CNN）编码，并通过交叉注意力机制与源文本表示融合。
• 模型采用基于Transformer的编码器-解码器架构，通过延迟交互方式实现文本与视觉编码的融合，以在解码过程中增强上下文信息。
• 在每个解码步骤中整合视觉特征，以指导尚未在源文中出现的后续词汇预测。
• 系统在Multi30k数据集上端到端训练，使用测试集中图像-句子配对数据，采用标准交叉熵损失函数。
• 通过引入语义不一致的图像-文本配对进行对抗性评估，以检验模型是否依赖视觉输入而非仅依赖文本线索。

实验结果

研究问题

• RQ1 当文本输入不完整时，视觉信息是否能提升同时神经机器翻译的翻译质量？
• RQ2 多模态融合如何影响早期解码性能，尤其是在低延迟场景下？
• RQ3 模型是否真正有意义地使用了视觉信号，还是仅关注文本线索？
• RQ4 视觉输入的有效性在不同词序的语言对（如SVO与SOV）之间有何差异？
• RQ5 视觉特征在多大程度上能帮助预测翻译过程中缺失或未来的源词？

主要发现

• MSNMT在早期解码阶段（如wait-k=3）优于仅使用文本的SNMT，BLEU分数更高，因其能更好地处理不完整输入。
• 在第一个示例中，MSNM在源文中尚未出现'海'（sea）时即正确预测，而仅使用文本的模型错误生成了'岩'（rock）。
• 在第二个示例中，MSNMT正确识别出'八人'和'摩托车'，而SNMT模型则错误估计了人数并错误生成了'bicycles'（自行车）。
• 对抗性评估证实MSNMT真正依赖视觉输入：当图像与文本不一致时，模型的预测结果向图像内容偏移，表明其对视觉信息有真实利用。
• 在词序差异较大的语言对（如英译日）中，改进效果最为显著，视觉上下文有助于解决句法歧义。
• 即使在完整输入条件下，MSNMT的翻译也比SNMT更准确，表明视觉特征增强了整体鲁棒性与精确度。