[论文解读] The "something something" video database for learning and evaluating visual common sense

Raghav Goyal, Samira Ebrahimi Kahou+12 more|arXiv (Cornell University)|Jun 13, 2017

Multimodal Machine Learning Applications被引用 9

一句话总结

本文介绍了'something something'视频数据集，这是一个大规模、细粒度的视频数据集，包含174个类别共100,000个视频，类别由字幕模板定义，旨在训练和评估深度学习模型的视觉常识能力。该数据集要求模型理解动作中细微的物理和因果关系，在完整的174类任务中达到88.5%的top-1准确率和70.3%的top-5准确率，表明其对标准架构具有相当的挑战性。

ABSTRACT

Neural networks trained on datasets such as ImageNet have led to major advances in visual object classification. One obstacle that prevents networks from reasoning more deeply about complex scenes and situations, and from integrating visual knowledge with natural language, like humans do, is their lack of common sense knowledge about the physical world. Videos, unlike still images, contain a wealth of detailed information about the physical world. However, most labelled video datasets represent high-level concepts rather than detailed physical aspects about actions and scenes. In this work, we describe our ongoing collection of the "something-something" database of video prediction tasks whose solutions require a common sense understanding of the depicted situation. The database currently contains more than 100,000 videos across 174 classes, which are defined as caption-templates. We also describe the challenges in crowd-sourcing this data at scale.

研究动机与目标

• 通过创建基于物理世界理解的视频数据集，解决在静态图像上训练的深度学习模型缺乏视觉常识的问题。
• 使模型能够学习动作和物体交互中的细微差别，这些差别需要对功能、因果关系和物理属性进行推理。
• 提供一个可扩展的、众包生成的数据集，结合字幕模板，以捕捉动态场景中细微的、人类水平的视觉推理能力。
• 在标准动作识别之外，对深度学习模型在视觉常识任务上的性能进行基准测试。

提出的方法

• 通过众包构建数据集，工作人员根据字幕模板（如'拿起[某物]'或'倒出[某物]'）录制动作视频。
• 每个视频均以占位符'[某物]'进行标注，占位符的真实输入由工作人员提供，从而形成零样本泛化基准。
• 该数据集包含174个动作类别，超过100,000段视频，旨在测试模型基于视觉线索和物理推理推断缺失物体的能力。
• 使用3D-CNN、2D-CNN以及2D+3D-CNN混合架构进行模型训练与评估，特征提取自非重叠和重叠的视频片段。
• 训练使用在Sports-1M上预训练并在'something something'数据集上微调的3D-CNN模型的帧级特征，对填充帧进行掩码处理。
• 评估在10类和40类的子集上进行，消融研究对比了不同网络架构和特征融合策略。

实验结果

研究问题

• RQ1 深度学习模型能否从视频数据中学习超越物体分类的视觉常识，捕捉物理和因果关系？
• RQ2 模型在需要理解物体属性、功能和运动动力学的细粒度动作识别任务中表现如何？
• RQ3 基于字幕模板的视频数据集在多大程度上提升了零样本泛化能力和推理能力，相较于标准动作识别基准？
• RQ4 架构选择（如2D与3D CNN、特征融合）对视觉常识任务性能有何影响？

主要发现

• 在完整的174类数据集上，表现最佳的3D-CNN模型达到88.5%的top-1准确率和70.3%的top-5准确率，表明标准架构面临显著挑战。
• 10类子集实验表明，即使在简化类别下，模型在细微差异上仍表现吃力，多个案例中top-2性能仍低于90%。
• 40类子集显示出难度显著提升，尽管训练集更大，但性能仍大幅下降，凸显了该数据集的复杂性。
• 2D+3D-CNN特征融合模型优于单独的2D和3D模型，表明结合空间与时间特征能提升对视觉常识的推理能力。
• 即使使用强基线模型，错误率依然很高，表明当前模型在物理因果关系和功能理解方面仍缺乏稳健性。
• 数据集的设计（包括对比样本和模板化标注）成功捕捉了细微的视觉差异，对标准识别模型构成挑战。