[论文解读] Tight Continuous Relaxation of the Balanced $k$-Cut Problem

Syama Sundar Rangapuram, Pramod Kaushik Mudrakarta+1 more|arXiv (Cornell University)|May 24, 2015

Advanced Clustering Algorithms Research参考文献 26被引用 12

一句话总结

该论文为平衡 $k$-cut 问题提出了一种紧致的连续松弛方法，解决了谱聚类及以往松弛方法常存在的松弛过松的问题。该方法提出了一种新颖的单调下降算法以最小化比率之和，从而在多个基准测试中实现了优越的聚类性能，相较于现有方法在准确率和切割质量方面均有提升。

ABSTRACT

Spectral Clustering as a relaxation of the normalized/ratio cut has become one of the standard graph-based clustering methods. Existing methods for the computation of multiple clusters, corresponding to a balanced $k$-cut of the graph, are either based on greedy techniques or heuristics which have weak connection to the original motivation of minimizing the normalized cut. In this paper we propose a new tight continuous relaxation for any balanced $k$-cut problem and show that a related recently proposed relaxation is in most cases loose leading to poor performance in practice. For the optimization of our tight continuous relaxation we propose a new algorithm for the difficult sum-of-ratios minimization problem which achieves monotonic descent. Extensive comparisons show that our method outperforms all existing approaches for ratio cut and other balanced $k$-cut criteria.

研究动机与目标

• 为解决现有平衡 $k$-cut 连续松弛方法在非良好分离聚类设置下表现不佳的问题。
• 提出一种紧致的连续松弛方法，直接最小化平衡 $k$-cut 目标函数，避免递归分割。
• 提出一种具备单调下降保证的高效优化算法，用于求解具有挑战性的比率之和最小化问题。
• 在归纳设置下，实现对先验信息（如必须连接/不能连接约束）的直接集成。

提出的方法

• 通过比率之和目标函数的新型公式化，提出一种针对平衡 $k$-cut 问题的新型紧致连续松弛方法。
• 提出一种用于优化连续松弛的单调下降算法，确保收敛性与稳定性。
• 采用洛瓦兹扩展方法将子模性平衡函数凸化，从而支持连续优化。
• 将松弛方法扩展至处理除标准比率/归一化切割外的应用特定平衡函数。
• 通过归纳聚类公式化引入标签信息，实现仅需少量监督即可提升性能。
• 采用重加权比率之和最小化策略，以增强收敛性与解的质量。

实验结果

研究问题

• RQ1 近期提出的非对称比率切赫勒尔切割松弛方法在实际中是否足够紧致，特别是在聚类未良好分离的情况下？
• RQ2 针对平衡 $k$-cut 的直接、非递归连续松弛方法是否能优于谱聚类与贪心方法？
• RQ3 针对比率之和最小化问题，单调下降算法是否能带来优于现有非单调方法的收敛性与聚类性能？
• RQ4 在仅包含少量标签信息的归纳设置下，该方法的有效性如何？
• RQ5 所提出的松弛方法是否能处理除标准比率切割外的任意子模性平衡函数？

主要发现

• 所提方法在所有测试数据集（包括 MNIST、20news 和 USPS）上均实现了最低的聚类误差，其中在归纳设置下误差低至 2.37%。
• 该方法始终产生低于所有基线方法的平衡切割值（BCut），在 MNIST 数据集上最低达到 0.439。
• 在仅使用 1% 标注数据的归纳设置下，该方法将聚类误差从 MTV 的 30.07% 降低至 26.55%，展现出强大的标签效率。
• 该算法在优化过程中实现了单调下降，而文献 [13] 中的非单调方法缺乏收敛性保证。
• 在所有基准测试中，该方法在聚类准确率与切割质量方面均优于谱聚类、PNMF、ONMF、LSD、NMFR 和 Graclus。
• 即使仅提供每类 1 个标签信息，该方法在 20news 数据集上仍实现 14.67% 的聚类误差，显著优于 MTV 的 18.67%。