[论文解读] Multi-View Spectral Clustering with High-Order Optimal Neighborhood Laplacian Matrix

Weixuan Liang, Sihang Zhou+6 more|arXiv (Cornell University)|Aug 31, 2020

Face and Expression Recognition参考文献 36被引用 9

一句话总结

该论文提出了一种新颖的多视角谱聚类方法 ONMSC，通过在一阶和高阶拉普拉斯矩阵组合的非线性邻域搜索中学习高阶最优邻域拉普拉斯矩阵，从而提升聚类性能。该方法通过收敛的优化算法增强表示能力并降低计算复杂度，在九个数据集和 MNIST 上实现了最先进性能，准确率达到 94.09%，运行时间为 27.4 秒。

ABSTRACT

Multi-view spectral clustering can effectively reveal the intrinsic cluster structure among data by performing clustering on the learned optimal embedding across views. Though demonstrating promising performance in various applications, most of existing methods usually linearly combine a group of pre-specified first-order Laplacian matrices to construct the optimal Laplacian matrix, which may result in limited representation capability and insufficient information exploitation. Also, storing and implementing complex operations on the $n imes n$ Laplacian matrices incurs intensive storage and computation complexity. To address these issues, this paper first proposes a multi-view spectral clustering algorithm that learns a high-order optimal neighborhood Laplacian matrix, and then extends it to the late fusion version for accurate and efficient multi-view clustering. Specifically, our proposed algorithm generates the optimal Laplacian matrix by searching the neighborhood of the linear combination of both the first-order and high-order base Laplacian matrices simultaneously. By this way, the representative capacity of the learned optimal Laplacian matrix is enhanced, which is helpful to better utilize the hidden high-order connection information among data, leading to improved clustering performance. We design an efficient algorithm with proved convergence to solve the resultant optimization problem. Extensive experimental results on nine datasets demonstrate the superiority of our algorithm against state-of-the-art methods, which verifies the effectiveness and advantages of the proposed algorithm.

研究动机与目标

• 解决现有多视角谱聚类方法依赖基拉普拉斯矩阵线性组合时表示能力有限的问题。
• 挖掘数据样本之间隐藏的高阶邻域关系，以提升聚类性能。
• 降低多视角聚类中与完整 $n \times n$ 拉普拉斯矩阵相关的存储与计算复杂度。
• 开发一种高效、可扩展的算法，在大规模数据集上保持高聚类准确率。
• 将框架扩展为后期融合版本，进一步降低复杂度，同时保持性能。

提出的方法

• 通过在一阶和高阶基拉普拉斯矩阵组合的邻域内搜索，提出一种高阶最优邻域拉普拉斯矩阵。
• 引入非线性优化框架，将可行空间扩展至线性组合之外，从而增强表示能力。
• 设计一种三步算法，通过证明收敛性，高效求解所得优化问题。
• 应用带锚点的 Nystroem 方法近似大规模聚类指示矩阵，降低时间和空间复杂度。
• 开发一种后期融合变体（ONMSC-LF），将视图特定处理与共识学习分离，最小化存储与计算开销。
• 使用共识矩阵 $\mathbf{H}^*$ 联合优化视图特定嵌入与最终聚类结构。

实验结果

研究问题

• RQ1 在第一阶和高阶拉普拉斯矩阵组合的非线性邻域搜索中，能否提升最优拉普拉斯矩阵的表示能力？
• RQ2 引入高阶亲和信息是否能带来优于一阶方法的聚类性能？
• RQ3 所提方法能否在大规模数据集上实现最先进性能，同时保持低计算与存储复杂度？
• RQ4 后期融合变体在效率与准确率方面与早期融合相比如何？
• RQ5 在大规模场景下，Nystroem 近似中锚点的最优数量是多少？

主要发现

• 所提 ONMSC 方法在 MNIST 数据集上达到 94.09% 的准确率、89.9% 的 NMI 和 94.09% 的纯度，优于最先进方法。
• 该算法在 30 次迭代内收敛，目标函数单调递增，表明优化过程稳定。
• 在 Nystroem 近似中，性能在 50 个锚点时趋于平稳，表明仅需少量锚点即可实现高精度。
• 后期融合版本在 MNIST 上的运行时间降低至 27.4 秒，显著优于竞争对手（如 RMKMC 的 2935.4 秒和 LMVSC 的 69.4 秒）。
• 算法学习到的共识矩阵 $\mathbf{H}^*$ 有效捕捉了内在聚类结构，如结果可视化所示。
• 在九个数据集上的大量实验验证了 ONMSC 相较于现有最先进多视角聚类方法的优越性。