[论文解读] Neural Manifold Clustering and Embedding

Zengyi Li, Yubei Chen+2 more|arXiv (Cornell University)|Jan 24, 2022

Medical Imaging and Analysis被引用 13

一句话总结

本文提出神经流形聚类与嵌入（NMCE），一种结合数据增强以施加几何约束、并利用最大编码率降低（MCR²）进行子空间特征学习的深度学习方法。NMCE 在 CIFAR-10 和 CIFAR-20 上优于基于自编码器的聚类方法及当前最先进方法，通过学习可解释的、语义上有意义的特征空间，准确率最高提升 9%。

ABSTRACT

Given a union of non-linear manifolds, non-linear subspace clustering or manifold clustering aims to cluster data points based on manifold structures and also learn to parameterize each manifold as a linear subspace in a feature space. Deep neural networks have the potential to achieve this goal under highly non-linear settings given their large capacity and flexibility. We argue that achieving manifold clustering with neural networks requires two essential ingredients: a domain-specific constraint that ensures the identification of the manifolds, and a learning algorithm for embedding each manifold to a linear subspace in the feature space. This work shows that many constraints can be implemented by data augmentation. For subspace feature learning, Maximum Coding Rate Reduction (MCR$^2$) objective can be used. Putting them together yields {\em Neural Manifold Clustering and Embedding} (NMCE), a novel method for general purpose manifold clustering, which significantly outperforms autoencoder-based deep subspace clustering. Further, on more challenging natural image datasets, NMCE can also outperform other algorithms specifically designed for clustering. Qualitatively, we demonstrate that NMCE learns a meaningful and interpretable feature space. As the formulation of NMCE is closely related to several important Self-supervised learning (SSL) methods, we believe this work can help us build a deeper understanding on SSL representation learning.

研究动机与目标

• 解决使用深度神经网络对非线性流形并集的数据进行聚类的挑战。
• 克服基于自编码器的深度子空间聚类方法的局限性，后者因依赖后处理而相较于线性聚类仅获得微小提升。
• 开发一种通用方法，在统一框架中同时学习流形聚类与线性子空间嵌入。
• 通过整合领域特定约束与合理的子空间学习目标，确保方法的鲁棒性与可解释性。
• 在高维图像数据集（如 CIFAR-10 与 CIFAR-20）上，证明其性能优于聚合适配的深度学习方法。

提出的方法

• 应用数据增强以施加领域特定的几何约束（例如，在变换下的不变性），从而实现可识别的流形聚类。
• 在潜在空间中使用最大编码率降低（MCR²）目标，以学习线性、不退化且分离的子空间表示。
• 分三个阶段训练：在自监督对比目标上进行预训练，基于预特征通过 MCR² 进行子空间聚类，最后使用完整 NMCE 目标进行端到端微调。
• 利用 MCR² 目标确保每个流形的嵌入在特征空间中占据独立的线性子空间。
• 通过在 MCR² 学习的特征上进行 PCA 可视化，表明主成分对应于语义上有意义的图像聚类。
• 将方法与标准聚类算法（如 EnSC、ESC、SENet）结合，在 MCR² 学习的特征上评估下游性能。

实验结果

研究问题

• RQ1 数据增强能否有效施加几何约束，以提升深度神经网络中的流形聚类性能？
• RQ2 MCR² 在学习非线性流形的解耦线性子空间表示方面，是否优于基于自表达的聚类目标？
• RQ3 结合几何约束与 MCR² 的统一深度学习框架，能否在具有挑战性的图像聚类基准上实现最先进性能？
• RQ4 NMCE 与聚合适配的深度学习方法（如 TCC、ConCURL、MiCE）相比，在 CIFAR-10 与 CIFAR-20 上表现如何？
• RQ5 NMCE 学习的特征在多大程度上表现出可解释性与语义结构？

主要发现

• 与 MCR² 基线相比，NMCE 在 CIFAR-10 上实现 6.1% 的绝对准确率提升，在 CIFAR-20 上实现 9.0% 的提升。
• 在 CIFAR-10 与 CIFAR-20 上，NMCE 在 ACC、NMI 和 ARI 指标上均优于当前最先进深度聚类方法（如 TCC、ConCURL、MiCE）。
• 该方法显著优于基于自编码器的深度子空间聚类，后者严重依赖后处理，且仅靠深层结构本身带来的增益微乎其微。
• 对学习子空间中主成分的可视化显示，存在语义上有意义的聚类（例如，白狗、特定物体类型），表明特征学习具有可解释性。
• 使用完整 NMCE 目标对整个网络进行微调，带来微小但显著的性能提升，证实了端到端优化的优势。
• NMCE 学习的特征避免了在超球面上的均匀分布，与标准自监督学习不同，表明其具有更好的结构保持能力与聚类潜力。