[论文解读] SpectralNet: Spectral Clustering using Deep Neural Networks

Uri Shaham, Kelly Stanton+4 more|arXiv (Cornell University)|Jan 4, 2018

Face and Expression Recognition参考文献 28被引用 118

一句话总结

SpectralNet 学习到一个参数化映射，将光谱嵌入用于可扩展聚类，支持外样本扩展并通过 Siamese 网络改进亲和力学习，在 MNIST 上取得有竞争力的结果，在 Reuters 上达到最先进水平。

ABSTRACT

Spectral clustering is a leading and popular technique in unsupervised data analysis. Two of its major limitations are scalability and generalization of the spectral embedding (i.e., out-of-sample-extension). In this paper we introduce a deep learning approach to spectral clustering that overcomes the above shortcomings. Our network, which we call SpectralNet, learns a map that embeds input data points into the eigenspace of their associated graph Laplacian matrix and subsequently clusters them. We train SpectralNet using a procedure that involves constrained stochastic optimization. Stochastic optimization allows it to scale to large datasets, while the constraints, which are implemented using a special-purpose output layer, allow us to keep the network output orthogonal. Moreover, the map learned by SpectralNet naturally generalizes the spectral embedding to unseen data points. To further improve the quality of the clustering, we replace the standard pairwise Gaussian affinities with affinities leaned from unlabeled data using a Siamese network. Additional improvement can be achieved by applying the network to code representations produced, e.g., by standard autoencoders. Our end-to-end learning procedure is fully unsupervised. In addition, we apply VC dimension theory to derive a lower bound on the size of SpectralNet. State-of-the-art clustering results are reported on the Reuters dataset. Our implementation is publicly available at https://github.com/kstant0725/SpectralNet .

研究动机与目标

• 动机是提出光谱聚类，并解决其可扩展性和外样本扩展的局限性。
• 开发一个在随机训练下通过强制正交性来学习光谱嵌入的神经网络。
• 通过 Siamese 网络将学习到的亲和力纳入，以提高聚类质量。
• 实现端到端的无监督训练，并在大规模数据集上进行评估。

提出的方法

• 通过最小化加权于亲和力矩阵的成对距离损失来训练一个神经网络，以近似光谱嵌入。
• 通过基于 QR 分解的正交化实现的受约束输出层来强制网络输出的正交性。
• 使用 Siamese 网络学习自适应、数据驱动的亲和力，而不是固定的欧几里得距离。
• 可选地将网络应用于由自编码器产生的编码空间，以提升聚类质量。
• 在学习到的嵌入空间中执行 k-means 以获得最终的聚类分配。
• 通过将新点映射到经过训练的网络来实现外样本扩展。

实验结果

研究问题

• RQ1 神经网络是否能够以可扩展、端到端的方式学习图拉普拉斯算子的光谱嵌入？
• RQ2 将网络输出约束为正交是否能够对拉普拉斯特征向量进行可靠近似？
• RQ3 学习到的（Siamese）亲和力是否能在光谱聚类中超越固定欧几里得距离的亲和力，从而提升聚类质量？
• RQ4 SpectralNet 对未见数据的泛化能力如何（外样本扩展）？

主要发现

• SpectralNet 结合基于 Siamese 的亲和力和代码空间表示，在 MNIST 聚类方面显著优于若干基线并在某些设置下接近 IMSAT。
• 在代码空间使用 Siamese 距离时，MNIST 的 ACC 达到 0.971，NMI 为 0.924；在代码空间的 Siamese 下 Reuters 的 ACC 达到 0.803，NMI 为 0.532。
• 在输入空间使用欧几里得距离时，MNIST ACC 为 0.622，NMI 为 0.687；在代码空间使用欧几里得距离时，MNIST ACC 为 0.800，NMI 为 0.814。
• SpectralNet 使用 Siamese 亲和力在 MNIST 上优于许多深度聚类基线（DEC、DCN、VaDE、JULE、DEPICT），并在与 IMSAT 的比较中具竞争力。
• 在 Reuters 上，代码空间 + Siamese 亲和力的 SpectralNet 实现了测试变体中报告的最佳 ACC 0.803 和 NMI 0.532。
• 理论分析给出一个 VC-dimension 下界，表明光谱聚类的表示能力至少与点数呈线性增长。