[论文解读] VideoStory Embeddings Recognize Events when Examples are Scarce

Amirhossein Habibian, Thomas Mensink+1 more|arXiv (Cornell University)|Nov 8, 2015

Human Pose and Action Recognition被引用 4

一句话总结

本文提出 VideoStory，一种视频表征学习方法，通过联合目标平衡描述性与多模态可预测性，将视频特征嵌入到与文本描述共享的语义空间中。通过利用网络规模的视频-文本对并优化相关术语，VideoStory 在 TRECVID 和哥伦比亚消费者视频数据集上实现了少样本和零样本事件识别的最先进性能。

ABSTRACT

This paper aims for event recognition when video examples are scarce or even completely absent. The key in such a challenging setting is a semantic video representation. Rather than building the representation from individual attribute detectors and their annotations, we propose to learn the entire representation from freely available web videos and their descriptions using an embedding between video features and term vectors. In our proposed embedding, which we call VideoStory, the correlations between the terms are utilized to learn a more effective representation by optimizing a joint objective balancing descriptiveness and predictability.We show how learning the VideoStory using a multimodal predictability loss, including appearance, motion and audio features, results in a better predictable representation. We also propose a variant of VideoStory to recognize an event in video from just the important terms in a text query by introducing a term sensitive descriptiveness loss. Our experiments on three challenging collections of web videos from the NIST TRECVID Multimedia Event Detection and Columbia Consumer Videos datasets demonstrate: i) the advantages of VideoStory over representations using attributes or alternative embeddings, ii) the benefit of fusing video modalities by an embedding over common strategies, iii) the complementarity of term sensitive descriptiveness and multimodal predictability for event recognition without examples. By it abilities to improve predictability upon any underlying video feature while at the same time maximizing semantic descriptiveness, VideoStory leads to state-of-the-art accuracy for both few- and zero-example recognition of events in video.

研究动机与目标

• 解决在标注样本稀缺或缺失时的视频事件识别问题。
• 开发一种既具有语义描述性又可由视频特征高度预测的视频表征。
• 通过从免费获取的网络视频及其文本描述中学习，提升少样本和零样本设置下的泛化能力。
• 将外观、运动和音频等多种模态整合到统一的语义嵌入中，以增强预测能力。
• 仅通过文本查询实现准确的事件识别，而无需任何视频样本。

提出的方法

• 使用外观、运动和音频特征上的多模态可预测性损失，学习视频特征与词向量之间的联合嵌入。
• 优化一个联合目标，平衡描述性（术语描述视频的准确程度）与可预测性（视频特征预测术语的能力）。
• 提出 VideoStoryF，一种在共享语义空间中融合多种视频模态以提升预测性能的变体。
• 提出 VideoStory0，一种采用词敏感描述性损失的变体，以提升仅通过文本查询进行零样本识别的准确性。
• 使用网络抓取的视频-文本对进行预训练，无需依赖人工标注的属性。
• 将 VideoStory 嵌入应用于任意底层视频特征（如 CNN、改进的密集轨迹）以增强其预测能力。

实验结果

研究问题

• RQ1 能否在不依赖人工标注属性的情况下，从网络视频及其描述中有效学习语义视频表征？
• RQ2 联合优化描述性与多模态可预测性是否能提升少样本和零样本设置下的事件识别性能？
• RQ3 通过共享嵌入融合外观、运动和音频特征，是否能优于传统的特征融合策略？
• RQ4 词敏感描述性损失在提升仅通过文本查询进行零样本事件识别方面的有效性如何？
• RQ5 VideoStory 是否能在多个基准上实现少样本和零样本事件检测的最先进性能？

主要发现

• 在 TRECVID 2013 少样本测试集上，VideoStory 实现了 37.1% 的平均平均精度（mAP），创下新 SOTA 记录。
• 在零样本设置下，VideoStory 实现了 20.0% 的 mAP，超过此前最佳结果 18.3%。
• VideoStoryF 变体通过融合外观、运动和音频特征，提升了可预测性，并在准确率上优于传统融合方法。
• VideoStory0 变体采用词敏感描述性损失，仅通过文本查询即可实现准确识别，展现出强大的零样本泛化能力。
• 词敏感描述性损失与多模态可预测性损失具有互补性，显著提升了零样本识别性能。
• VideoStory 在所有底层视频特征（如 CNN、I3D、音频）上均提升了可预测性，同时保持了高语义描述性，从而实现了最先进性能。