[论文解读] Self-Supervised Convolutional Subspace Clustering Network

Junjian Zhang, Chun-Guang Li+5 more|arXiv (Cornell University)|May 1, 2019

Video Surveillance and Tracking Methods参考文献 50被引用 9

一句话总结

该论文提出S2 ConvSCN，一种端到端可训练的自监督框架，通过卷积神经网络联合优化特征学习、子空间聚类的自表达机制以及谱聚类的双重自监督。通过利用聚类输出来优化特征提取与自表达，该方法在基准数据集上实现了最先进性能，显著降低了误差，包括在COIL100上达到26.67%的聚类误差。

ABSTRACT

Subspace clustering methods based on data self-expression have become very popular for learning from data that lie in a union of low-dimensional linear subspaces. However, the applicability of subspace clustering has been limited because practical visual data in raw form do not necessarily lie in such linear subspaces. On the other hand, while Convolutional Neural Network (ConvNet) has been demonstrated to be a powerful tool for extracting discriminative features from visual data, training such a ConvNet usually requires a large amount of labeled data, which are unavailable in subspace clustering applications. To achieve simultaneous feature learning and subspace clustering, we propose an end-to-end trainable framework, called Self-Supervised Convolutional Subspace Clustering Network (S$^2$ConvSCN), that combines a ConvNet module (for feature learning), a self-expression module (for subspace clustering) and a spectral clustering module (for self-supervision) into a joint optimization framework. Particularly, we introduce a dual self-supervision that exploits the output of spectral clustering to supervise the training of the feature learning module (via a classification loss) and the self-expression module (via a spectral clustering loss). Our experiments on four benchmark datasets show the effectiveness of the dual self-supervision and demonstrate superior performance of our proposed approach.

研究动机与目标

• 为解决传统子空间聚类方法假设数据位于线性子空间的局限性，而这一假设在真实视觉数据中常被违反的问题。
• 克服在训练用于子空间聚类的深度特征时对大规模标注数据的依赖。
• 开发一种端到端可训练的框架，同时学习判别性特征并执行子空间聚类。
• 引入一种双重自监督机制，利用谱聚类输出来改进特征学习与自表达。
• 在无需人工标注或预定义不变性特征的情况下，实现更优的聚类性能。

提出的方法

• 集成堆叠的卷积自编码器，从原始视觉数据中实现端到端的特征学习。
• 采用自表达模块，将每个数据点表示为其他数据点的线性组合，从而实现子空间聚类。
• 引入谱聚类模块，生成伪标签以监督特征学习与自表达。
• 应用两种自监督信号：预测结果与谱聚类伪标签之间的分类损失，以及使自表达亲和矩阵与聚类结构对齐的谱聚类损失。
• 采用交替优化策略，联合优化特征表示、自表达系数与聚类分配。
• 采用多组件损失函数，结合重建损失、自表达损失、谱聚类损失与分类损失，并使用自适应权衡参数。

实验结果

研究问题

• RQ1 当缺乏标注数据时，自监督学习能否提升子空间聚类性能？
• RQ2 谱聚类输出能否有效指导端到端训练中的深度特征提取器？
• RQ3 通过分类损失与谱聚类损失的双重自监督，是否能获得优于单重监督或仅自表达方法的聚类准确率？
• RQ4 特征学习、自表达与聚类的联合优化框架是否能在标准基准上超越现有最先进方法？
• RQ5 该方法在真实视觉数据中存在姿态、表情与形变等数据变化时，是否具有鲁棒性？

主要发现

• 在ORL数据集上，S2 ConvSCN-ℓ₁与S2 ConvSCN-ℓ₂的聚类误差分别达到10.50%与11.25%，优于先前方法如DSC-ℓ₁（14.25%）与DASC（11.75%）。
• 在COIL20数据集上，该方法将聚类误差降低至2.14%（S2 ConvSCN-ℓ₁）与2.33%（S2 ConvSCN-ℓ₂），显著低于DSC-ℓ₁（5.65%）与DASC（3.61%）。
• 在COIL100数据集上，S2 ConvSCN-ℓ₁达到26.67%的聚类误差，较DSC-ℓ₁（33.62%）与DSC-ℓ₂（30.96%）有显著提升。
• 双重自监督机制显著加快了收敛速度并提升了训练稳定性，表现为优化过程中损失函数与聚类误差曲线趋于平缓。
• 相对谱聚类代价比（‖C‖_Q / ‖C‖₁）与聚类误差呈现强相关性，验证了其作为性能指标的有效性。
• 该方法在未使用显式数据增强或对齐的情况下，仍能通过学习隐式捕捉不变性的特征，展现出对数据变化的鲁棒性。