[论文解读] N2D: (Not Too) Deep Clustering via Clustering the Local Manifold of an Autoencoded Embedding

Ryan McConville, Raúl Santos‐Rodríguez+2 more|arXiv (Cornell University)|Aug 16, 2019

Time Series Analysis and Forecasting被引用 12

一句话总结

N2D 提出了一种轻量级深度聚类框架，该框架用基于 UMAP 的局部流形学习替代了深度聚类网络，对自编码器学习到的嵌入表示进行处理，随后进行浅层聚类。该方法在图像和时间序列数据集上实现了当前最优或具有竞争力的性能，在 Fashion-MNIST 上相比现有方法最高提升 8 个百分点，在 HAR 上提升 15 个百分点。

ABSTRACT

Deep clustering has increasingly been demonstrating superiority over conventional shallow clustering algorithms. Deep clustering algorithms usually combine representation learning with deep neural networks to achieve this performance, typically optimizing a clustering and non-clustering loss. In such cases, an autoencoder is typically connected with a clustering network, and the final clustering is jointly learned by both the autoencoder and clustering network. Instead, we propose to learn an autoencoded embedding and then search this further for the underlying manifold. For simplicity, we then cluster this with a shallow clustering algorithm, rather than a deeper network. We study a number of local and global manifold learning methods on both the raw data and autoencoded embedding, concluding that UMAP in our framework is best able to find the most clusterable manifold in the embedding, suggesting local manifold learning on an autoencoded embedding is effective for discovering higher quality discovering clusters. We quantitatively show across a range of image and time-series datasets that our method has competitive performance against the latest deep clustering algorithms, including out-performing current state-of-the-art on several. We postulate that these results show a promising research direction for deep clustering. The code can be found at https://github.com/rymc/n2d

研究动机与目标

• 通过用自编码表示上的流形学习替代深度聚类网络，降低深度聚类的复杂度。
• 探究在自编码嵌入上学习局部流形是否相比直接聚类能提升聚类可分性。
• 评估多种流形学习技术（如 UMAP、t-SNE、Isomap、PCA）在原始数据和自编码数据上的有效性。
• 证明在 UMAP 嵌入的自编码表示上使用浅层聚类算法可超越当前最优的深度聚类模型。
• 在包含图像和时间序列数据的多样化数据集上（无论是否使用数据增强），验证该方法的有效性。

提出的方法

• 训练自编码器以学习原始输入数据的压缩、低维表示。
• 对学习到的自编码嵌入应用 UMAP，以发现保持距离关系且可聚类的流形结构。
• 在 UMAP 嵌入空间中使用浅层聚类算法（如高斯混合模型）分配最终的聚类标签。
• 评估在原始数据和自编码数据上使用流形学习技术（PCA、Isomap、t-SNE、UMAP）的效果，以识别最有效的方法。
• 通过选择 UMAP 作为流形学习器来优化流程，因其在保持局部结构和全局拓扑方面具有良好的平衡。
• 采用端到端训练自编码器，使用重建损失，而 UMAP 和聚类在训练后以不可微但高效的方式应用。

实验结果

研究问题

• RQ1 能否通过在自编码嵌入上使用流形学习步骤替代深度聚类网络，来提升聚类性能？
• RQ2 在自编码嵌入中，哪种流形学习方法——局部或全局——最能保持可聚类结构？
• RQ3 作为兼具局部结构保持和全局结构保留能力的局部流形学习器，UMAP 是否相比其他方法能获得更优的聚类结果？
• RQ4 N2D 在包括非图像数据在内的多样化数据集上，与当前最优的深度聚类模型相比表现如何？
• RQ5 当从对比模型中移除数据增强后，N2D 的性能增益是否依然保持？

主要发现

• 在 Fashion-MNIST 数据集上，N2D 达到最高准确率，相比次优方法（ASPC-DA）高出 5 个百分点的绝对值。
• 在 HAR 时间序列数据集上，N2D 相比最接近的竞争对手（IDEC）实现了 15 个百分点的准确率提升，展现出在非图像数据上的强大性能。
• 在 MNIST-test 上，N2D 排名前三，准确率与最佳方法（JULE）仅相差 1 个百分点，落后于 ASPC-DA 2 个百分点。
• 当从 ASPC-DA 中移除数据增强后，其性能显著下降（例如，在 MNIST 上从 0.988 降至 0.924，而 N2D 保持在 0.988），凸显了 N2D 的鲁棒性。
• N2D 在约 18 分钟内完成 MNIST 和 Fashion-MNIST 的聚类，其余数据集在 2 至 4 分钟内完成，表明其具有极高的计算效率。
• 发现 UMAP 是最有效的流形学习方法，在保持自编码空间中的可聚类结构方面显著优于 PCA、t-SNE 和 Isomap。