[论文解读] Sparse Coding on Stereo Video for Object Detection

Sheng Y. Lundquist, Melanie Mitchell+1 more|arXiv (Cornell University)|May 19, 2017

Video Surveillance and Tracking Methods参考文献 20被引用 4

一句话总结

本文提出将无监督稀疏编码整合到深度卷积神经网络（DCNN）的第一层，用于立体视频中的目标检测，利用未标注数据学习具有深度选择性的特征。该方法在标注数据有限的情况下优于完全监督的DCNN，并在不同随机初始化和训练顺序下表现出显著更一致的性能，且稀疏编码特征展现出标准卷积层中不存在的内在深度选择性。

ABSTRACT

Deep Convolutional Neural Networks (DCNN) require millions of labeled training examples for image classification and object detection tasks, which restrict these models to domains where such datasets are available. In this paper, we explore the use of unsupervised sparse coding applied to stereo-video data to help alleviate the need for large amounts of labeled data. We show that replacing a typical supervised convolutional layer with an unsupervised sparse-coding layer within a DCNN allows for better performance on a car detection task when only a limited number of labeled training examples is available. Furthermore, the network that incorporates sparse coding allows for more consistent performance over varying initializations and ordering of training examples when compared to a fully supervised DCNN. Finally, we compare activations between the unsupervised sparse-coding layer and the supervised convolutional layer, and show that the sparse representation exhibits an encoding that is depth selective, whereas encodings from the convolutional layer do not exhibit such selectivity. These result indicates promise for using unsupervised sparse-coding approaches in real-world computer vision tasks in domains with limited labeled training data.

研究动机与目标

• 解决深度学习模型在目标检测任务中需要大量人工标注训练数据的局限性。
• 探究在标注数据稀缺时，对立体视频数据进行无监督稀疏编码是否能提升性能。
• 评估基于稀疏编码的网络在不同随机初始化和训练数据排序下的鲁棒性。
• 分析稀疏编码层中学习到的特征性质，并与监督卷积层的特征进行比较。
• 确定稀疏编码激活中的深度选择性是否为检测性能提升的关键因素。

提出的方法

• 用在无标签立体视频数据上训练的无监督稀疏编码层替换DCNN中的第一卷积层。
• 使用字典学习算法推断立体图像块的稀疏、非冗余表示，通过L1正则化强制实现稀疏性。
• 仅使用少量标注样本，以监督方式训练网络的后续层。
• 比较不同架构模型的性能：完全监督、无监督首层和微调变体。
• 通过设定阈值控制稀疏性，使卷积层激活的非零激活数量与稀疏编码层保持一致。
• 可视化并分析特征图，通过检查学习到的滤波器中的双目视差变化来评估深度选择性。

实验结果

研究问题

• RQ1 在标注数据有限时，对立体视频数据进行无监督稀疏编码能否提升目标检测性能？
• RQ2 基于稀疏编码的网络在不同随机初始化和训练数据排序下的性能一致性，与完全监督DCNN相比如何？
• RQ3 稀疏编码特征是否表现出深度选择性？若有，其与标准卷积特征有何不同？
• RQ4 当训练数据稀缺时，引入无监督稀疏编码层是否比使用监督首层带来更好的泛化性能？
• RQ5 在稀疏编码特征中观察到的深度选择性是否是其在汽车检测任务中性能提升的关键因素？

主要发现

• 在所有测试的网络深度下，稀疏编码网络（SparseUnsup）的平均AUC得分均高于完全监督网络（ConvSup），尤其在仅使用100个标注样本时表现更优。
• SparseUnsup在六次随机运行中的性能方差显著更低（AUC范围为0.004–0.014），表明其在初始化和数据排序方面具有更强的鲁棒性，而ConvSup的方差范围为0.021–0.086 AUC。
• 稀疏编码层的激活具有深度选择性：近距调谐滤波器表现出与近距离特征对应的显著双目视差偏移，而远距调谐滤波器则无偏移，表明其具备深度编码能力。
• 相比之下，卷积层（即使经过稀疏性控制）未表现出深度选择性，其激活在多个深度上均活跃。
• SparseUnsup的性能优势在仅含两层的网络中、且标注数据极少时最为显著，表明无监督预训练可显著提升数据效率。
• 本研究证实，通过稀疏编码实现的深度选择性特征学习，可作为立体视频目标检测在低数据场景下的强大归纳偏置。