[论文解读] TGIF: A New Dataset and Benchmark on Animated GIF Description

Yuncheng Li, Yale Song+5 more|arXiv (Cornell University)|Apr 10, 2016

Multimodal Machine Learning Applications参考文献 47被引用 49

一句话总结

本文提出了 TGIF，一个包含 100K 个用户生成的动画 GIF 及其对应的 120K 个众包自然语言描述的大型数据集，旨在推动视频和图像序列描述研究。作者开发了新颖的质量控制与验证技术，用于自由形式文本标注，并证明在 TGIF 上预训练的模型能显著提升在电影描述基准上的性能，确立了 TGIF 作为视频理解研究的有力代理基准。

ABSTRACT

With the recent popularity of animated GIFs on social media, there is need for ways to index them with rich metadata. To advance research on animated GIF understanding, we collected a new dataset, Tumblr GIF (TGIF), with 100K animated GIFs from Tumblr and 120K natural language descriptions obtained via crowdsourcing. The motivation for this work is to develop a testbed for image sequence description systems, where the task is to generate natural language descriptions for animated GIFs or video clips. To ensure a high quality dataset, we developed a series of novel quality controls to validate free-form text input from crowdworkers. We show that there is unambiguous association between visual content and natural language descriptions in our dataset, making it an ideal benchmark for the visual content captioning task. We perform extensive statistical analyses to compare our dataset to existing image and video description datasets. Next, we provide baseline results on the animated GIF description task, using three representative techniques: nearest neighbor, statistical machine translation, and recurrent neural networks. Finally, we show that models fine-tuned from our animated GIF description dataset can be helpful for automatic movie description.

研究动机与目标

• 解决动画 GIF 和图像序列描述领域缺乏大规模、高质量数据集的问题。
• 开发自动化质量控制方法，以确保视觉内容众包自然语言描述的准确性。
• 建立一个时间上分割良好且语义连贯的视频描述基准。
• 评估在动画 GIF 上训练的模型是否能泛化到更复杂的视频描述任务。
• 提供公开可用的数据集和代码库，以加速视觉字幕和视频理解研究。

提出的方法

• 从 Tumblr 收集 100K 个动画 GIF，通过自动化过滤和清洗确保视觉质量和连贯性。
• 通过众包为每个 GIF 收集 120K 个自然语言描述，实施严格的质量控制以确保强视觉-语言对齐。
• 实施句法和语义验证技术，以过滤众包工作者提供的噪声或不相关描述。
• 应用三种基线方法——最近邻法、统计机器翻译（SMT-FrameNet）和基于 LSTM 的模型（S2VT）——生成描述。
• 以 METEOR 作为主要评估指标，测试在不同数量参考描述下的性能表现。
• 开展跨数据集微调实验，以评估从 GIF 到电影描述任务的可迁移性。

实验结果

研究问题

• RQ1 动画 GIF 是否可作为视频描述研究的高质量、良好分割的基准？
• RQ2 自动化质量控制方法在确保视觉内容与自由形式文本描述之间高保真对齐方面有多有效？
• RQ3 在 TGIF 上训练的模型在多大程度上能泛化到更复杂的视频描述任务（如电影描述）？
• RQ4 参考描述的数量在多大程度上影响视频字幕评估的可靠性？
• RQ5 训练数据规模对动画 GIF 描述模型性能的影响如何？

主要发现

• TGIF 数据集展现出强烈的视觉-语言关联性，描述与 GIF 中的动作和内容保持一致，使其适用于视频描述基准测试。
• 当使用 80% 的训练数据后，METEOR 分数趋于稳定，表明当前模型已面临该数据集的挑战。
• 在评估中使用更多参考描述可提高 METEOR 分数，表明多参考评估能提升评估的可靠性。
• LSTM-Finetune 基线模型优于最近邻法和 SMT-FrameNet，证明了任务特定表征学习的价值。
• 在 TGIF 上微调的模型在电影描述基准（M-VAD、MPII-MD）上取得了具有竞争力的性能，优于基线模型。
• 跨数据集迁移实验表明，从 TGIF 到电影的微调能提升在 M-VAD 和 MPII-MD 上的性能，表明 TGIF 具备可迁移性，适用于更广泛的视频理解研究。