[论文解读] Unsupervised Learning of Spatiotemporally Coherent Metrics

Ross Goroshin, Joan Bruna+3 more|arXiv (Cornell University)|Dec 18, 2014

Anomaly Detection Techniques and Applications参考文献 20被引用 11

一句话总结

该论文提出了一种无监督深度学习方法，通过使用由慢度和稀疏性先验正则化的卷积池化自编码器，从未标注视频中学习时空一致的视觉特征。通过将慢特征学习与度量学习相联系，该方法实现了超参数的自动调优，并生成了更具语义一致性的度量空间特征，在时间序列和基于类别的检索任务中优于基线方法。

ABSTRACT

Current state-of-the-art classification and detection algorithms rely on supervised training. In this work we study unsupervised feature learning in the context of temporally coherent video data. We focus on feature learning from unlabeled video data, using the assumption that adjacent video frames contain semantically similar information. This assumption is exploited to train a convolutional pooling auto-encoder regularized by slowness and sparsity. We establish a connection between slow feature learning to metric learning and show that the trained encoder can be used to define a more temporally and semantically coherent metric.

研究动机与目标

• 从未标注视频中学习通用且具有语义意义的视觉表征，无需特定任务的监督。
• 解决在无监督特征学习中通过时间一致性作为弱监督信号来平衡不变性与判别性的挑战。
• 通过慢特征学习与度量学习之间的联系，建立一种系统化且自动化的无监督表征学习超参数选择方法。
• 证明联合优化重建、慢度与稀疏性可获得比仅优化时间一致性更具有语义一致性的特征。

提出的方法

• 将无监督特征学习表述为具有共享权重和局部池化的卷积池化自编码器，以诱导对局部形变的不变性。
• 引入基于重建的对比项，通过最小化时间相邻帧的重建误差，来鼓励时间一致性。
• 对学习到的特征施加稀疏性和慢度先验，其中慢度确保时间上的稳定性，稀疏性促进判别性。
• 采用两阶段训练流程：首先在浅层自编码器上联合训练慢度与稀疏性，然后使用相同目标逐层堆叠以构建层次化表征。
• 采用改进的损失函数，结合重建误差、稀疏性正则化与慢度惩罚，以平衡不变性与判别性。
• 提出了一种新颖的慢特征分析与度量学习之间的联系，使得基于时间一致性的系统化超参数调优成为可能。

实验结果

研究问题

• RQ1 能否将未标注视频序列中的时间一致性作为弱监督信号，以学习通用且具有语义意义的视觉特征？
• RQ2 如何以系统化且自动化的方式平衡无监督特征学习中不变性（慢度）与判别性之间的权衡？
• RQ3 联合优化重建、慢度与稀疏性先验是否能产生比仅优化时间一致性更具有语义一致性的特征？
• RQ4 所生成的特征能否定义一种度量空间，从而在不使用标签的情况下提升时间序列与基于类别的检索任务性能？

主要发现

• 所提方法在时间序列与基于类别的检索任务中均优于单层DrLIM与组稀疏性基线模型，实现了更优的精确率-召回率表现。
• 联合训练的两层特征（结合重建、慢度与稀疏性正则化）在时间一致性方面表现最佳，显著优于仅使用时间一致性或组稀疏性训练的模型。
• 与DrLIM相比，该方法学习到的特征在邻居之间表现出更高的视觉与语义相似性，而DrLIM尽管时间一致性高，但其最近邻样本在视觉上不连贯。
• 在CIFAR-10检索任务中，无监督模型的第二层性能劣于第一层，表明深层网络在缺乏适当正则化时可能损失判别能力。
• 该模型第一层特征在高召回率下达到了与监督训练的四层卷积网络第一层相当的性能，证明了其强大的迁移能力。
• 引入个体稀疏性先验会降低时间一致性，表明组级别稀疏性在保留池化特征的时间结构方面更为有效。