[论文解读] Unsupervised Learning from Video with Deep Neural Embeddings

Chengxu Zhuang, Tianwei She+3 more|arXiv (Cornell University)|May 28, 2019

Human Pose and Action Recognition参考文献 45被引用 11

一句话总结

本文提出了视频实例嵌入（Video Instance Embedding, VIE）框架，这是一种自监督方法，通过训练深度神经嵌入来对相似视频进行分组并分离不相似视频，从而从未经修剪的视频数据中学习强大的视觉表征。VIE在动作识别（Kinetics）和单帧图像分类（ImageNet）任务上均达到最先进性能，通过采用静态与动态处理流的双路架构，超越了以往的无监督方法。

ABSTRACT

Because of the rich dynamical structure of videos and their ubiquity in everyday life, it is a natural idea that video data could serve as a powerful unsupervised learning signal for training visual representations in deep neural networks. However, instantiating this idea, especially at large scale, has remained a significant artificial intelligence challenge. Here we present the Video Instance Embedding (VIE) framework, which extends powerful recent unsupervised loss functions for learning deep nonlinear embeddings to multi-stream temporal processing architectures on large-scale video datasets. We show that VIE-trained networks substantially advance the state of the art in unsupervised learning from video datastreams, both for action recognition in the Kinetics dataset, and object recognition in the ImageNet dataset. We show that a hybrid model with both static and dynamic processing pathways is optimal for both transfer tasks, and provide analyses indicating how the pathways differ. Taken in context, our results suggest that deep neural embeddings are a promising approach to unsupervised visual learning across a wide variety of domains.

研究动机与目标

• 开发一种可扩展的自监督框架，用于从无标注视频数据中学习视觉表征。
• 探究深度神经嵌入是否能在无监督条件下有效捕捉视频中的丰富动态结构。
• 评估无监督视频表征学习在下游任务（如动作识别与物体分类）中的有效性。
• 确定最优的架构组件，如帧采样策略与多流设计，以优化无监督视频学习。
• 分析所学习表征如何捕捉运动与语义内容，并识别损失函数与网络架构中的关键组件。

提出的方法

• VIE框架利用通过无监督对比损失训练的深度神经网络，将视频序列映射到紧凑的潜在空间。
• 采用局部聚合（LA）损失函数，促使相似视频的嵌入聚集成簇，同时将不相似视频的嵌入相互推开。
• 采用双路架构，一路处理静态帧，另一路通过光流或帧差处理时间动态信息。
• 调整帧采样策略，包括均匀采样、将视频分段采样，以及使用不同的时间感受野。
• 模型在大规模未筛选的视频数据（Kinetics）上进行预训练，并在下游分类任务上进行微调。
• 通过消融实验评估损失函数、网络深度与采样策略对性能的影响。

实验结果

研究问题

• RQ1 深度神经嵌入能否有效从未经修剪、无标注的视频数据中学习视觉表征？
• RQ2 不同的帧采样策略与网络架构如何影响无监督视频表征的质量？
• RQ3 具有独立静态与动态处理流的双路架构是否比单路模型更有效？
• RQ4 视频的无监督表征在多大程度上可迁移至下游任务（如动作识别与物体分类）？
• RQ5 哪些损失函数（如LA、CMC）在无监督视频表征学习中最有效？

主要发现

• VIE框架在Kinetics数据集的动作识别任务中达到最先进性能，VIE-Single模型在Conv5特征上的Top-1准确率达到44.41%。
• 在ImageNet上的单帧物体分类任务中，VIE-Single模型在Conv5特征上的Top-1准确率达到42.33%，超越了以往的无监督方法。
• 双路VIE-Slowfast模型显著优于VIE-Single，在检索任务中能正确识别出手部动作与物体交互等运动模式。
• 消融实验表明，局部聚合（LA）损失函数在所测试目标函数中最为有效，且帧分段采样（如5段采样）优于均匀采样。
• 双路架构优于单路模型，动态路径能够捕捉静态路径所遗漏的运动模式。
• 模型在各类任务中泛化能力良好：使用70%训练数据时，Kinetics上的Top-1准确率达到26.18%，显示出对数据稀疏性的鲁棒性。