[论文解读] Unsupervised Learning of Visual Structure using Predictive Generative Networks

William Lotter, Gabriel Kreiman+1 more|arXiv (Cornell University)|Nov 19, 2015

Advanced Vision and Imaging参考文献 34被引用 82

一句话总结

本文提出一种CNN-LSTM-deCNN架构，通过预测损失训练以预测未来视频帧，表明这种无监督训练可生成丰富且解耦的底层3D物体结构表征。尽管仅在像素级预测上进行训练，该模型仍学习到对变换具有鲁棒性的特征，且在静态图像分类等下游任务中泛化性能优异，优于使用重建损失训练的模型。

ABSTRACT

The ability to predict future states of the environment is a central pillar of intelligence. At its core, effective prediction requires an internal model of the world and an understanding of the rules by which the world changes. Here, we explore the internal models developed by deep neural networks trained using a loss based on predicting future frames in synthetic video sequences, using a CNN-LSTM-deCNN framework. We first show that this architecture can achieve excellent performance in visual sequence prediction tasks, including state-of-the-art performance in a standard 'bouncing balls' dataset (Sutskever et al., 2009). Using a weighted mean-squared error and adversarial loss (Goodfellow et al., 2014), the same architecture successfully extrapolates out-of-the-plane rotations of computer-generated faces. Furthermore, despite being trained end-to-end to predict only pixel-level information, our Predictive Generative Networks learn a representation of the latent structure of the underlying three-dimensional objects themselves. Importantly, we find that this representation is naturally tolerant to object transformations, and generalizes well to new tasks, such as classification of static images. Similar models trained solely with a reconstruction loss fail to generalize as effectively. We argue that prediction can serve as a powerful unsupervised loss for learning rich internal representations of high-level object features.

研究动机与目标

• 探究预测性视频生成是否可作为学习视觉结构丰富内部表征的强大无监督学习框架。
• 评估在预测未来帧上训练的模型是否能学习到底层3D物体的解耦、变换不变特征。
• 比较基于预测的模型与基于重建的自编码器在下游分类任务中的泛化性能。
• 评估结合均方误差（MSE）与对抗损失（AL）对提升预测质量与表征学习的影响。
• 测试从动态刺激中学习的表征是否能有效泛化至静态图像识别，尤其是在少样本条件下。

提出的方法

• 该模型采用CNN-LSTM-deCNN架构（编码器-循环-解码器），从输入帧序列预测未来视频帧。
• 通过结合均方误差（MSE）与对抗损失（AL）进行端到端训练，以提升预测的真实感与保真度。
• 预测损失促使网络学习到捕捉时序动态与结构不变性的内部世界模型。
• 从LSTM的隐藏状态中提取表征，并使用SVM在静态人脸识别任务上进行评估。
• 对照模型在静态或动态帧上使用重建损失进行训练，采用带或不带LSTM的自编码器架构。
• 模型在合成数据集上进行评估：基于物理的弹跳小球（bouncing balls）与基于3D结构的旋转计算机生成人脸（rotating computer-generated faces）。

实验结果

研究问题

• RQ1 仅通过预测未来视频帧训练的深度神经网络是否能学习到底层3D物体结构的解耦表征？
• RQ2 与基于重建的训练相比，预测性训练在学习变换鲁棒特征方面表现如何？
• RQ3 预测损失是否能带来对下游任务（如静态图像分类）更好的泛化性能？
• RQ4 结合MSE与对抗损失对预测质量与表征学习有何影响？
• RQ5 从动态视频序列中学习的表征是否能有效泛化至静态图像的少样本分类？

主要发现

• 预测生成网络（PGN）在标准的“弹跳小球”视频预测基准上达到最先进性能。
• 结合MSE与对抗损失的PGN生成了视觉上逼真且一致的预测，尤其在人脸的非平面旋转情况下表现更优。
• 仅使用MSE训练的PGN在50类静态人脸识别任务中达到最高分类准确率（高达94%），优于所有基于重建的基线模型。
• 即使训练样本更少，预测模型的泛化能力也显著优于基于重建的模型，尤其在少样本场景下表现更优。
• PGN学习到的表征天然具备对物体变换（如旋转）的容忍性，这是由于时序预测带来的归纳偏置。
• 即使在相同数据分布下训练，基于预测损失训练的模型也比基于重建损失训练的模型泛化能力更强。