[论文解读] Neural Machine Translation with Latent Semantic of Image and Text

Joji Toyama, Masanori Misono+3 more|arXiv (Cornell University)|Nov 25, 2016

Multimodal Machine Learning Applications参考文献 15被引用 15

一句话总结

本文提出一种神经机器翻译模型，通过变分自编码器（VAE）从文本和图像输入中推断连续潜在变量，从而更好地捕捉潜在语义。该模型在训练过程中利用图像信息，提升了翻译准确性——尤其在短句上表现更优，在英德翻译任务中，BLEU和METEOR得分均高于基线NMT和VNMT模型，同时推理阶段无需图像输入。

ABSTRACT

Although attention-based Neural Machine Translation have achieved great success, attention-mechanism cannot capture the entire meaning of the source sentence because the attention mechanism generates a target word depending heavily on the relevant parts of the source sentence. The report of earlier studies has introduced a latent variable to capture the entire meaning of sentence and achieved improvement on attention-based Neural Machine Translation. We follow this approach and we believe that the capturing meaning of sentence benefits from image information because human beings understand the meaning of language not only from textual information but also from perceptual information such as that gained from vision. As described herein, we propose a neural machine translation model that introduces a continuous latent variable containing an underlying semantic extracted from texts and images. Our model, which can be trained end-to-end, requires image information only when training. Experiments conducted with an English--German translation task show that our model outperforms over the baseline.

研究动机与目标

• 通过捕捉源句的完整语义含义，改进神经机器翻译，因为标准注意力机制因聚焦局部信息而无法做到这一点。
• 探究在仅依赖文本之外，整合视觉信息（图像）是否能增强神经机器翻译中的语义表征。
• 开发一种训练范式，其中图像数据仅在训练阶段使用，推理阶段可不依赖图像。
• 研究多模态信息（文本与图像）如何通过解耦潜在变量来稳定并提升翻译质量。
• 提出一种新的多模态神经机器翻译框架，结合基于VAE的潜在变量与图像和文本编码。

提出的方法

• 使用变分自编码器（VAE）从源句和对应图像中推断连续潜在变量z，实现对文本与视觉语义的联合建模。
• 编码器通过双向RNN处理源句，同时利用预训练CNN（如ResNet或R-CNN）提取图像特征，两者融合以条件化后验分布qφ(z|x,y,π)。
• 随后将潜在变量z通过上下文向量整合到基于GRU的解码器中，使模型能够基于源句和潜在语义表征生成目标翻译。
• 采用变分下界目标进行端到端训练，图像特征仅在训练阶段使用，推理阶段被丢弃。
• 评估了不同的图像特征提取策略，包括使用原始图像（G）、R-CNN特征（R）以及平均多个R-CNN特征（O-AVG），其中G表现最佳。
• 在变分NMT（VNMT）基础上，通过在推断模块中增加图像输入，实现更丰富的语义抽象。

实验结果

研究问题

• RQ1 联合建模文本与图像特征是否能提升神经机器翻译中源句的语义表征？
• RQ2 在训练阶段引入视觉信息是否能带来更准确、更鲁棒的翻译，尤其对短句或歧义句？
• RQ3 与标准注意力机制NMT或VNMT相比，基于VAE的潜在变量（同时依赖文本与图像）对翻译质量有何影响？
• RQ4 图像信息在多大程度上能稳定训练过程并提升泛化能力，特别是在测试集缺乏图像的情况下？
• RQ5 在使用图像增强的潜在变量时，语义准确性的提升与语法错误增加之间的定性权衡是什么？

主要发现

• 所提模型在BLEU和METEOR指标上均优于基线NMT和VNMT模型，其中使用原始图像特征的G变体取得最高得分。
• 在短句上表现显著提升，因为简单句结构使潜在变量能更准确地逼近潜在语义。
• 图像增强模型（尤其是G和G+O-AVG）展现出更稳定的训练动态，验证分数波动更小。
• 模型减少了与名词短语相关的翻译错误（如将'white and black dog'误译为'white dog and black dog'），表明视觉输入增强了语义定位能力。
• 定性分析显示，与VNMT相比，该模型对名词短语的翻译更准确，但因图像特征更强调视觉实体而非动作，导致在介词和动词形式上引入更多语法错误。
• 模型在未见测试数据上泛化良好，测试得分随时间持续提升，表明图像引导的潜在变量有助于提升泛化能力并减少过拟合。