[论文解读] Supervising Neural Attention Models for Video Captioning by Human Gaze Data

Youngjae Yu, Jongwook Choi+4 more|arXiv (Cornell University)|Jul 19, 2017

Multimodal Machine Learning Applications参考文献 6被引用 3

一句话总结

本文提出Gaze Encoding Attention Network（GEAN），一种利用人类注视追踪数据显式监督空间与时间注意力机制的视频字幕模型。通过将预测的注视视觉注意力图整合到编码器和解码器中，GEAN在多个数据集上的视频字幕生成与注视预测任务中均达到最先进性能，显著提升了字幕质量，该结果通过自动指标与人工评估均得到验证。

ABSTRACT

The attention mechanisms in deep neural networks are inspired by human's attention that sequentially focuses on the most relevant parts of the information over time to generate prediction output. The attention parameters in those models are implicitly trained in an end-to-end manner, yet there have been few trials to explicitly incorporate human gaze tracking to supervise the attention models. In this paper, we investigate whether attention models can benefit from explicit human gaze labels, especially for the task of video captioning. We collect a new dataset called VAS, consisting of movie clips, and corresponding multiple descriptive sentences along with human gaze tracking data. We propose a video captioning model named Gaze Encoding Attention Network (GEAN) that can leverage gaze tracking information to provide the spatial and temporal attention for sentence generation. Through evaluation of language similarity metrics and human assessment via Amazon mechanical Turk, we demonstrate that spatial attentions guided by human gaze data indeed improve the performance of multiple captioning methods. Moreover, we show that the proposed approach achieves the state-of-the-art performance for both gaze prediction and video captioning not only in our VAS dataset but also in standard datasets (e.g. LSMDC and Hollywood2).

研究动机与目标

• 探究是否可通过使用人类注视追踪数据对注意力机制进行显式监督，以提升基于注意力的视频字幕模型性能。
• 解决缺乏同时包含视频字幕与人类注视标注的数据集的问题。
• 开发一种新颖的视频字幕模型，有效融合预测的注视空间注意力与时间语言建模。
• 通过Amazon Mechanical Turk的人工标注与自动指标，评估注视监督对字幕质量的影响。

提出的方法

• 提出Gaze Encoding Attention Network（GEAN），将预测的注视注意力图整合到视觉特征编码过程中。
• 采用循环注视预测（RGP）模型，从视频帧生成空间注视图，作为注意力机制的监督信号。
• 使用多流视觉编码器，处理三种特征类型：GoogLeNet（C3D）、场景识别特征，以及RGP生成的注视图。
• 应用双注意力机制：由注视图引导的空间注意力，以及解码器中用于词生成的时间注意力。
• 采用端到端训练，字幕生成使用交叉熵损失，注视预测使用L2损失，实现联合优化。
• 通过迁移学习策略，在LSMDC数据集上微调前，先在VAS与Hollywood2数据集上预训练RGP模型。

实验结果

研究问题

• RQ1 使用人类注视数据进行显式监督，能否提升基于注意力的视频字幕模型性能？
• RQ2 融合预测的注视空间注意力，是否能生成更准确且更符合人类偏好的字幕？
• RQ3 在有限注视标注数据上训练的模型，能否泛化到无注视标注的数据集（如LSMDC）？
• RQ4 注视监督如何同时影响注视预测准确率与视频字幕质量？

主要发现

• GEAN在VAS、LSMDC与Hollywood2数据集上的视频字幕生成与注视预测任务中均达到最先进性能。
• 采用RGP引导的注视监督的模型，在自动指标（BLEU、METEOR、CIDEr）与AMT人工评估中均优于所有基线模型。
• 人工偏好研究显示，GEAN生成的字幕在统计上显著优于基线模型，其偏好优势超过自动指标所反映的差距。
• 在VAS与Hollywood2上预训练的RGP模型具有良好的泛化能力，即使在目标数据集LSMDC无注视标注的情况下，也能提升字幕生成性能。
• 当同时使用三种视觉特征流（C3D、场景特征与注视图）时性能最佳，证实了注视监督的互补作用。
• 在固定注视模式中，均匀注视加权表现最佳，表明关注整个视觉场比偏向或随机注意力更有效。