[论文解读] UMONS Submission for WMT18 Multimodal Translation Task

Jean-Benoit Delbrouck, Stéphane Dupont|arXiv (Cornell University)|Oct 15, 2018

Multimodal Machine Learning Applications参考文献 12被引用 11

一句话总结

本文提出 DeepGRU，一种受神经图像字幕模型启发的新型多模态神经机器翻译架构，通过门控双曲正切瓶颈和多模态投影整合视觉特征，在 WMT18 的英德和英法翻译任务中均取得了当前最优的 METEOR 分数，分别较基线模型提升 +2.10 和 +1.98 METEOR 分数。

ABSTRACT

This paper describes the UMONS solution for the Multimodal Machine Translation Task presented at the third conference on machine translation (WMT18). We explore a novel architecture, called deepGRU, based on recent findings in the related task of Neural Image Captioning (NIC). The models presented in the following sections lead to the best METEOR translation score for both constrained (English, image) -> German and (English, image) -> French sub-tasks.

研究动机与目标

• 通过比现有注意力机制模型更有效地整合视觉特征，提升多模态神经机器翻译性能。
• 探究神经图像字幕模型中的架构创新（如门控双曲正切瓶颈和多模态投影）是否能提升多模态设置下的翻译性能。
• 开发一种轻量化、高效且训练速度快的模型，避免在有限训练数据上过拟合。
• 在 WMT18 多模态翻译共享任务中实现卓越性能，尤其在 METEOR 分数上表现突出。

提出的方法

• 提出 DeepGRU，一种新颖架构，结合条件 GRU 解码器与作为瓶颈函数的第三层 GRU，用于多模态融合。
• 引入多模态投影层，通过学习的线性变换结合视觉与文本表征。
• 在瓶颈层和投影层中使用门控双曲正切（ght）激活函数，以控制信息流动并提升表征能力。
• 在编码器注释和 ResNet-50 提取的图像特征上使用软注意力机制，上下文向量通过加权和计算。
• 应用 dropout（嵌入层为 0.3，注释和瓶颈层为 0.5）和梯度裁剪，以防止过拟合并稳定训练过程。
• 通过共享目标词嵌入矩阵和输出投影矩阵，减少参数数量并提升泛化能力。

实验结果

研究问题

• RQ1 来自神经图像字幕模型的架构组件（如门控双曲正切瓶颈和多模态投影）是否能提升多模态翻译性能？
• RQ2 具有专用瓶颈层的深层 GRU 架构是否在多模态翻译中优于标准注意力机制模型？
• RQ3 在数据受限的设置下，使用最大池化视觉特征与完整卷积特征相比效果如何？
• RQ4 参数更少的轻量化模型是否能在多模态翻译基准上实现当前最优结果？
• RQ5 在低资源设置下，将视觉特征与序列建模结合时，视觉特征在多大程度上提升了翻译质量？

主要发现

• DeepGRU 模型在 WMT18 的英德和英法翻译子任务中均取得了最高的 METEOR 分数。
• 在英法翻译任务中，该模型在 Flickr Test2016 数据集上相较基线模型 METEOR 分数提升 +2.10 分（76.83 vs. 74.73）。
• 在英德翻译任务中，该模型在相同测试集上 METEOR 分数提升 +1.21 分（59.58 vs. 58.37）。
• 在具有歧义性的 MSCOCO 测试集上，德语翻译的 METEOR 分数提升 +1.00 分（49.45 vs. 48.45），法语翻译提升 +1.40 分（65.79 vs. 64.39）。
• 该模型在所有测试集上均优于基线模型，包括新发布的 Flickr Test2018，法语翻译的 METEOR 得分为 60.17，德语翻译为 51.64。
• 结果表明，来自图像字幕模型的架构创新（如门控双曲正切瓶颈）显著提升了多模态翻译性能。