[论文解读] Predicting Actions to Help Predict Translations

Zixiu Wu, Julia Ive+3 more|arXiv (Cornell University)|Aug 5, 2019

Natural Language Processing Techniques参考文献 18被引用 8

一句话总结

本文提出了一种基于Transformer的多模态机器翻译模型，利用视频中的动作特异性视觉特征来提升翻译质量，尤其在源文本因掩码动作动词而受损时效果显著。实验结果表明，来自视频动作识别网络的视觉特征在掩码设置下显著提升了性能，人工评估进一步证实，使用与动词相关的视觉嵌入的模型生成的翻译比仅依赖文本的基线模型更加准确和自然。

ABSTRACT

We address the task of text translation on the How2 dataset using a state of the art transformer-based multimodal approach. The question we ask ourselves is whether visual features can support the translation process, in particular, given that this is a dataset extracted from videos, we focus on the translation of actions, which we believe are poorly captured in current static image-text datasets currently used for multimodal translation. For that purpose, we extract different types of action features from the videos and carefully investigate how helpful this visual information is by testing whether it can increase translation quality when used in conjunction with (i) the original text and (ii) the original text where action-related words (or all verbs) are masked out. The latter is a simulation that helps us assess the utility of the image in cases where the text does not provide enough context about the action, or in the presence of noise in the input text.

研究动机与目标

• 探究视频中的视觉特征是否能提升多模态机器翻译性能，特别是针对与动作相关的动词。
• 通过在源文本中掩码动作动词，评估视觉模态在低资源或噪声翻译场景下的有效性。
• 比较不同视觉特征表示方法——动作识别特征、CNN激活值和词嵌入——在辅助翻译中的效果。
• 确定视觉特征是否有助于弥合干净文本与掩码文本输入在多模态翻译中的性能差距。
• 通过人工评估验证自动指标的有效性，重点关注动词被掩码场景下的翻译质量。

提出的方法

• 本研究采用基于Transformer的架构进行多模态机器翻译，将视觉特征与文本编码进行融合。
• 视觉特征通过三种方法从视频片段中提取：在动作识别任务上微调的3D ResNeXt-101模型（videosum）、3D ResNet-50的最后一个卷积层（conv4），以及来自动词分类模型的词嵌入（AIF-emb）。
• 使用How2数据集，并采用两种掩码策略：仅掩码动作动词（ACT）和掩码所有动词（ALL），以模拟噪声或不完整的输入。
• 对原始文本、ACT掩码文本、ALL掩码文本和目标语言文本分别应用字节对编码（BPE），生成四个独立的词汇表。
• 消融研究通过引入视觉不一致——即用随机特征替换真实视频特征——来测试视觉特征的影响，以验证性能提升源于有意义的视觉对齐。
• 人工评估由母语为葡萄牙语的参与者完成，对150个测试样本中来自仅文本、AIF-conv4和AIF-emb模型的翻译进行排名，采用成对偏好评分系统。

实验结果

研究问题

• RQ1 当源文本因掩码动作动词而受损时，视频中的视觉特征是否能提升翻译质量？
• RQ2 不同类型的视觉特征——动作识别输出、CNN激活值和动词嵌入——在多模态翻译中的有效性是否存在差异？
• RQ3 视觉特征带来的性能提升是否在掩码设置（ACT和ALL）中比在原始文本（ORG）中更为显著？
• RQ4 视觉模态是否有助于缩小原始文本与掩码文本之间的性能差距，尤其是在文本上下文缺失时？
• RQ5 自动指标是否与人类对翻译质量的感知一致，特别是在动词被掩码的场景下？

主要发现

• 使用与动词相关的视觉特征（来自词嵌入）的AIF-emb模型获得最高的人工偏好得分（0.81），优于仅文本模型（0.75）和AIF-conv4模型（0.73）。
• 来自视频动作识别网络的视觉特征（videosum）在自动翻译性能上表现最佳，尤其在掩码设置下，与仅文本模型相比，在ALL掩码设置中BLEU分数提升0.4分。
• 不一致解码实验显示，当视觉特征不匹配时，BLEU分数下降1.0分，证实多模态模型确实有意义地依赖视觉输入。
• 尽管自动指标改进显著，但仅文本与多模态模型之间的BLEU提升幅度较小——仅0.2至0.4分——表明性能增益虽细微但具有实际意义。
• 人工评估表明，AIF-emb模型生成的翻译在流畅性和语义准确性方面优于仅文本模型，尤其在动词被掩码的情况下，表明视觉特征有助于语义恢复。
• 视觉特征无法显著缩小原始文本（ORG）与ACT掩码设置之间的性能差距，表明仅靠视觉输入无法完全弥补源文本中缺失的动作动词。