[论文解读] Unsupervised Deep Embedding for Clustering Analysis

Junyuan Xie, Ross Girshick+1 more|arXiv (Cornell University)|Nov 19, 2015

Image Retrieval and Classification Techniques参考文献 36被引用 116

一句话总结

本文提出深度嵌入聚类（DEC），一种通过使用自监督目标分布对聚类目标进行迭代优化，联合学习深度特征表示与聚类分配的方法。通过端到端的反向传播训练，DEC在图像和文本数据集上实现了最先进水平的聚类准确率与鲁棒性，性能与可扩展性均优于现有无监督方法。

ABSTRACT

Clustering is central to many data-driven application domains and has been studied extensively in terms of distance functions and grouping algorithms. Relatively little work has focused on learning representations for clustering. In this paper, we propose Deep Embedded Clustering (DEC), a method that simultaneously learns feature representations and cluster assignments using deep neural networks. DEC learns a mapping from the data space to a lower-dimensional feature space in which it iteratively optimizes a clustering objective. Our experimental evaluations on image and text corpora show significant improvement over state-of-the-art methods.

研究动机与目标

• 为解决传统聚类方法依赖手工设计或线性特征空间的局限性，学习数据驱动的非线性表示以用于聚类。
• 在无需标注聚类分配的情况下，以端到端方式联合优化深度神经网络的特征学习与聚类分配。
• 在缺乏交叉验证可行性的无监督设置下，提升聚类性能与对超参数选择的鲁棒性。
• 通过实现与数据点数量呈线性复杂度的聚类方法，实现对大规模数据集的可扩展性，区别于谱聚类等具有二次或更高复杂度的方法。

提出的方法

• DEC 使用深度自编码器学习从输入数据到低维嵌入空间的非线性映射。
• 通过基于学生t分布的目标分布引入软聚类分配，并通过迭代方式更新以优化聚类分配。
• 利用随机梯度下降优化预测聚类分布与目标分布之间的Kullback-Leibler（KL）散度目标。
• 网络以迭代方式训练：首先使用自编码器的特征进行初始化，然后通过反向传播迭代优化聚类分配与嵌入表示。
• 基于当前的软分配结果，动态更新目标分布，以鼓励更自信的聚类预测并提升嵌入质量。
• 该方法具备可扩展性，与数据点数量呈线性关系，可高效训练大规模数据集。

实验结果

研究问题

• RQ1 是否可以端到端地训练深度神经网络，以无监督方式联合学习特征表示与聚类分配？
• RQ2 使用自监督目标分布进行迭代优化，相较于标准聚类方法，如何提升聚类性能？
• RQ3 在缺乏标注数据用于验证的情况下，DEC在多大程度上降低了对超参数选择的敏感性？
• RQ4 所提出的方法是否能在保持高聚类准确率的同时，高效扩展至大规模数据集？

主要发现

• DEC 在 MNIST、STL-10 与 REUTERS 数据集上实现了最先进水平的聚类准确率，显著优于标准方法与现有最先进方法。
• 该方法对超参数设置表现出强鲁棒性，性能在不同配置下持续提升，无需进行大量交叉验证。
• DEC 在 MNIST 数据集上从 9 个聚类到 10 个聚类时表现出明显的泛化能力下降，表明 9 个聚类为最优数量，与最高 NMI 评分一致。
• 嵌入表示的 t-SNE 可视化显示，随着训练轮次的推进，聚类逐渐变得更加分离，证实了模型学习有意义聚类结构的能力。
• 与基线方法相比，DEC 对类别不平衡的敏感性显著降低，在聚类大小差异较大的情况下仍能保持高准确率。
• 消融研究证实，结合自编码器初始化与 KL 散度最小化可带来显著性能提升，优于在自编码特征上使用 k-means 及其他基线方法。