[论文解读] VISA: An Ambiguous Subtitles Dataset for Visual Scene-Aware Machine Translation

Yihang Li, Shuichiro Shimizu+3 more|arXiv (Cornell University)|Jan 20, 2022

Natural Language Processing Techniques被引用 5

一句话总结

本文提出了VISA，一个大规模的日英平行字幕数据集，包含39,880对来自电影和电视剧的模糊字幕对，旨在推动视频引导的机器翻译（VMT）研究。该数据集根据模糊类型划分为多义性（20,666对）和省略（19,214对）两个子数据集，实验表明，尽管存在视觉线索，当前的VMT模型在处理多义性时仍表现不佳，凸显了在运动、空间和情感语境方面改进多模态建模的必要性。

ABSTRACT

Existing multimodal machine translation (MMT) datasets consist of images and video captions or general subtitles, which rarely contain linguistic ambiguity, making visual information not so effective to generate appropriate translations. We introduce VISA, a new dataset that consists of 40k Japanese-English parallel sentence pairs and corresponding video clips with the following key features: (1) the parallel sentences are subtitles from movies and TV episodes; (2) the source subtitles are ambiguous, which means they have multiple possible translations with different meanings; (3) we divide the dataset into Polysemy and Omission according to the cause of ambiguity. We show that VISA is challenging for the latest MMT system, and we hope that the dataset can facilitate MMT research. The VISA dataset is available at: https://github.com/ku-nlp/VISA.

研究动机与目标

• 为解决视频引导的机器翻译（VMT）领域缺乏大规模、含模糊字幕的数据集的问题，此类数据集对于利用视觉上下文解决语言模糊性至关重要。
• 探究视觉线索——尤其是运动、空间和情感信息——在真实视频内容中是否能有效消除字幕的模糊性。
• 提供一个基准数据集，以挑战当前最先进的VMT模型，特别是在处理口语对话中的多义性和主语/宾语省略方面。
• 识别当前VMT模型的局限性，如对说话人身份和情感线索利用不足，并为未来模型开发提供指导。

提出的方法

• VISA数据集从电影和电视剧的字幕中构建，包含39,880对日英平行句子对，并与相应的视频片段对齐。
• 模糊性根据类型分为两类：多义性（由词义模糊引起）和省略（由主语或宾语省略引起），并为每类分别划分数据集。
• 使用视频片段中的文本、运动和空间特征训练基线VMT模型，并通过消融研究比较不同特征组合下的性能表现。
• 模型架构通过3D卷积神经网络（3D CNNs）提取视觉特征以实现动作识别，并利用空间注意力机制实现目标定位，同时通过交叉注意力机制对齐文本与视觉模态。
• 评估采用BLEU、METEOR和RIBES指标，对短句长度常见的字幕数据应用Smooth-4 BLEU平滑处理。
• 通过视频帧中的嘴部动作推断说话人身份，以在省略情形下提升消歧能力，尽管基线模型未充分利用该信息。

实验结果

研究问题

• RQ1 视频片段中的视觉线索是否能有效解决字幕中的语言模糊性，特别是在多义性和主语省略的情况下？
• RQ2 不同的视觉特征——运动、空间和情感——在模糊字幕场景下对提升翻译质量有何贡献？
• RQ3 为何当前的VMT模型在VISA数据集上表现不佳，尽管已有视觉上下文可用？
• RQ4 视频片段中的说话人身份和情感表达在多大程度上有助于消除字幕中省略或具有多义性的指代？
• RQ5 当前VMT模型在应用于真实世界、基于对话的模糊字幕时，存在哪些关键局限性？

主要发现

• 在省略子集上，所有VMT模型均优于仅使用文本的NMT模型，BLEU、METEOR和RIBES分别提升0.41、1.56和1.25，表明视觉线索有助于主语重建任务。
• 在多义性子集和完整数据集上，NMT模型的表现优于所有VMT变体，表明当前VMT模型未能有效利用视觉上下文解决词义模糊性。
• 由于缺乏可靠的说话人识别和情感线索建模，视觉特征的有效性受到限制，例如在'何言ってんだよ'（你到底在说什么？ vs. 完全说不通。）这类情形中消歧效果差。
• 仅使用运动和空间特征无法显著提升模糊字幕的翻译质量，表明当前的特征提取方法不足以捕捉必要的视觉上下文。
• 数据集显示，许多视频片段仅呈现说话人的面部，限制了对物体和场景级信息的获取，从而在复杂视觉场景中阻碍了消歧。
• 尽管字幕与视频片段对齐度高，视觉上下文却未在所有情况下有效用于消歧，表明VMT模型在利用视频内容方面仍存在差距。