[论文解读] The Open World of Micro-Videos

Phuc Xuan Nguyen, Grégory Rogez+2 more|arXiv (Cornell University)|Mar 31, 2016

Human Pose and Action Recognition参考文献 30被引用 19

一句话总结

本文介绍了 MV-58k，一个大规模开放世界数据集，包含 264,327 个微型视频和 58,243 个动态标签，支持在开放世界、视角多样的以及随时间演变的条件下进行视频理解研究。该研究提出基于视角特定和时间自适应的模型，利用深度视觉与运动特征，表明经过筛选的数据能提升准确率，且时间动态特性对标签预测性能有显著影响。

ABSTRACT

Micro-videos are six-second videos popular on social media networks with several unique properties. Firstly, because of the authoring process, they contain significantly more diversity and narrative structure than existing collections of video "snippets". Secondly, because they are often captured by hand-held mobile cameras, they contain specialized viewpoints including third-person, egocentric, and self-facing views seldom seen in traditional produced video. Thirdly, due to to their continuous production and publication on social networks, aggregate micro-video content contains interesting open-world dynamics that reflects the temporal evolution of tag topics. These aspects make micro-videos an appealing well of visual data for developing large-scale models for video understanding. We analyze a novel dataset of micro-videos labeled with 58 thousand tags. To analyze this data, we introduce viewpoint-specific and temporally-evolving models for video understanding, defined over state-of-the-art motion and deep visual features. We conclude that our dataset opens up new research opportunities for large-scale video analysis, novel viewpoints, and open-world dynamics.

研究动机与目标

• 为解决缺乏大规模、多样化且动态演化的视频数据集以适用于开放世界视频理解的问题。
• 研究相机视角（尤其是第一人称和自拍视角）对视频识别任务的影响。
• 对视频内容和标签流行度的时间动态进行建模，反映现实世界中开放世界的演化过程。
• 评估在训练鲁棒视频理解系统时，筛选数据与原始数据的相对有效性。
• 探索在流式真实世界视频数据中实现终身学习与开放词汇识别的方法。

提出的方法

• 作者构建了 MV-58k，一个从社交媒体收集的 264,327 个微型视频数据集，每个视频均标注有 58,243 个动态标签。
• 他们提取了最先进的深度视觉特征（如 I3D）和运动特征（如光流）以表示视频内容。
• 他们设计了针对不同视角的模型，以处理第三人称、第一人称和自拍视角的拍摄场景。
• 他们提出了时间自适应模型，通过在近期数据上重新训练，以应对标签流行度变化和语义漂移问题。
• 他们采用 Platt 校准方法，利用过去数据的滑动窗口对因果模型进行校准，以提升时间预测的准确性。
• 他们通过对比筛选数据（MV-40）与原始数据（MV-58k）的性能，评估数据质量与数据量之间的权衡。

实验结果

研究问题

• RQ1 与传统视频片段集合相比，微型视频在多样性与叙事结构方面有何异同？
• RQ2 微型视频中的第一人称和自拍视角在多大程度上挑战了现有视频理解模型？
• RQ3 标签流行度与语义含义如何随时间演变？模型如何适应这些开放世界的动态变化？
• RQ4 在视频标签预测准确率方面，数据筛选与原始数据量的相对影响是什么？
• RQ5 自适应因果模型能否有效预测流式视频数据中未来的标签流行度？

主要发现

• 筛选数据（MV-40）在准确率上优于两倍大的原始数据集（MV-58k），表明在标签预测任务中，数据质量远超数据量的重要性。
• 原始训练数据量的适度增加（不足两倍）即可达到人工筛选数据集的性能水平，表明开放世界数据具有良好的可扩展性。
• 标签预测性能因标签而异：‘简单’标签（如 #cavs、#warriors）仅需少量数据即可学习，而‘不可学习’标签（如 #revine、#lol）即使在大规模训练集下，其平均精度（AP）仍接近零。
• 采用近期数据进行自适应训练的时间模型优于固定训练集，当在校准窗口为三周时，性能提升至 23.5% mAP。
• 非因果模型（使用未来数据）在理想未来分布下校准后可达到 28% mAP，表明因果时间建模仍有巨大改进空间。
• 该数据集表现出显著的长尾统计特性与动态标签演化，验证了其作为开放世界、流式视频理解基准的适用性。