[论文解读] Multimodal Machine Translation with Reinforcement Learning

Xin Qian, Ziyi Zhong+1 more|arXiv (Cornell University)|May 7, 2018

Multimodal Machine Learning Applications参考文献 12被引用 12

一句话总结

该论文提出了一种基于强化学习的多模态机器翻译模型，采用优势演员-评论家（A2C）框架，通过直接优化BLEU得分来提升翻译质量。该模型整合了图像和文本输入，通过以BLEU作为奖励的策略梯度方法训练策略网络，并在WMT18多模态机器翻译任务上，相较于监督式最大似然估计（MLE）基线模型，实现了更优的性能表现，尤其在减少暴露偏差以及提升流畅性和一致性方面表现突出。

ABSTRACT

Multimodal machine translation is one of the applications that integrates computer vision and language processing. It is a unique task given that in the field of machine translation, many state-of-the-arts algorithms still only employ textual information. In this work, we explore the effectiveness of reinforcement learning in multimodal machine translation. We present a novel algorithm based on the Advantage Actor-Critic (A2C) algorithm that specifically cater to the multimodal machine translation task of the EMNLP 2018 Third Conference on Machine Translation (WMT18). We experiment our proposed algorithm on the Multi30K multilingual English-German image description dataset and the Flickr30K image entity dataset. Our model takes two channels of inputs, image and text, uses translation evaluation metrics as training rewards, and achieves better results than supervised learning MLE baseline models. Furthermore, we discuss the prospects and limitations of using reinforcement learning for machine translation. Our experiment results suggest a promising reinforcement learning solution to the general task of multimodal sequence to sequence learning.

研究动机与目标

• 为解决神经机器翻译中训练目标与最终评估指标不一致的问题，通过对齐训练过程与最终评估指标来缓解暴露偏差。
• 探索强化学习在多模态序列到序列学习中的有效性，特别是针对图像条件下的翻译任务。
• 通过A2C训练利用视觉上下文信息，超越监督式最大似然估计（MLE）方法，提升翻译质量。
• 评估图像特征对翻译性能的影响，并分析当前设置下其局限性。

提出的方法

• 将多模态机器翻译建模为使用优势演员-评论家（A2C）算法的强化学习问题。
• 采用双输入编码器结构：使用预训练的ResNet-50提取图像特征，使用文本编码器生成源句嵌入。
• 解码器采用基于策略的生成机制，以条件概率方式逐个 token 生成目标序列，同时依赖图像和文本上下文信息。
• 将奖励信号定义为生成翻译序列的BLEU得分，为策略优化提供密集反馈。
• 通过策略梯度更新联合训练演员网络与评论家网络，其中评论家网络用于估计值函数以降低梯度方差。
• 采用端到端微调方式训练策略网络，基于A2C目标函数，奖励在完整序列生成后计算。

实验结果

研究问题

• RQ1 使用A2C的强化学习是否能够使多模态机器翻译性能超越监督式MLE训练？
• RQ2 在优化BLEU得分时，引入图像特征如何影响翻译质量？
• RQ3 与MLE相比，A2C训练在序列生成中在多大程度上减少了暴露偏差？
• RQ4 在解码器中使用固定ResNet-50特征存在哪些局限性，以及它们如何影响性能表现？
• RQ5 不同奖励信号（如BLEU、ROUGE）如何影响学习动态与最终翻译质量？

主要发现

• A2C模型在BLEU和人工评估指标上均优于MLE基线模型，尤其在减少重复输出和提升流畅性方面表现更优。
• 在Multi30K数据集上，A2C模型在英德翻译任务中取得了28.7的BLEU得分，较MLE基线高出2.1 BLEU点。
• 加入图像输入的模型在翻译一致性方面表现更优，例如A2C能准确捕捉细微描述如“蓝色调手提包”或“可能为亚裔血统”，而MLE模型则产生幻觉或重复性输出。
• 尽管性能有所提升，但图像通道并未显著提高整体BLEU得分，可能由于高维、噪声较大的ResNet特征稀释了文本表示。
• A2C模型训练时间更长（每轮65.01秒），参数量接近MLE模型的两倍，但性能增益使其计算成本具有合理性。
• 定性分析表明，A2C生成的翻译更具诗意且上下文更准确，尤其在处理复杂描述和减少暴露偏差方面表现更优。