[论文解读] Unsupervised Feature Learning from Temporal Data

Ross Goroshin, Joan Bruna+3 more|arXiv (Cornell University)|Apr 9, 2015

Anomaly Detection Techniques and Applications参考文献 16被引用 31

一句话总结

本文提出了一种无监督深度学习框架，通过结合慢度和稀疏性先验，从无标签视频数据中学习时间上一致的特征。该方法使用带有L1正则化隐藏单元的卷积池化自编码器，并采用重建损失，以学习既时间稳定又语义有意义的不变、信息保持表示。

ABSTRACT

Current state-of-the-art classification and detection algorithms rely on supervised training. In this work we study unsupervised feature learning in the context of temporally coherent video data. We focus on feature learning from unlabeled video data, using the assumption that adjacent video frames contain semantically similar information. This assumption is exploited to train a convolutional pooling auto-encoder regularized by slowness and sparsity. We establish a connection between slow feature learning to metric learning and show that the trained encoder can be used to define a more temporally and semantically coherent metric.

研究动机与目标

• 从无标签视频序列中学习有意义且时间一致的特征，无需监督。
• 解决由于慢度先验导致的无监督表示学习中的退化问题（即恒定特征的出现）。
• 通过在隐藏表示上引入重建损失，保留学习到的特征中的输入信息。
• 通过局部池化和过完备线性变换提高特征对局部运动和形变的不变性。
• 建立慢特征学习与度量学习之间的联系，以提升下游表示的质量。

提出的方法

• 采用两阶段编码器：首先为过完备线性变换，随后经过修正线性单元和局部池化，生成特征。
• 在隐藏激活上施加L1惩罚以促进在过完备基下稀疏、解耦的表示。
• 通过解码矩阵Wd在隐藏表示h上实现重建损失，以保留输入信息。
• 通过最小化相邻帧之间特征差异的Lp范数（|t - t'| = 1）来强制实现时间上的慢度。
• 引入基于特征分离的对比项，用于非相邻帧（|t - t'| > 1），并设置边界m，以避免退化解。
• 使用共享权重的孪生网络架构，对时间相邻的视频帧对进行训练，优化组合损失。

实验结果

研究问题

• RQ1 从无标签视频数据中进行无监督特征学习，能否产生既时间稳定又语义有意义的表示？
• RQ2 在不依赖成对对比损失的情况下，如何缓解基于慢度的特征学习中的退化问题？
• RQ3 与最终池化特征相比，从隐藏表示中重建特征在多大程度上能改善信息保持？
• RQ4 局部池化与稀疏性约束能否共同生成对小空间平移和形变具有不变性的特征？
• RQ5 在表示质量和下游实用性方面，该方法与度量学习或对比学习相比如何？

主要发现

• 通过结合重建损失与慢度和稀疏性，所提方法成功避免了退化的恒定特征解。
• 在隐藏激活上引入L1惩罚，即使在过完备基下，也能生成稀疏且解耦的表示。
• 从隐藏表示h而非池化特征进行重建，能够更好地恢复输入数据，避免相位恢复问题。
• 学习到的特征表现出强烈的时序一致性，相邻帧在潜在空间中被映射到彼此靠近的点。
• 通过局部池化和卷积结构，该架构实现了对小空间平移和形变的不变性。
• 该模型在形式上建立了慢特征分析与度量学习之间的联系，表明学习到的特征可定义更一致的度量。