[论文解读] Robust and Efficient Fuzzy C-Means Clustering Constrained on Flexible Sparsity

Jinglin Xu, Junwei Han+3 more|arXiv (Cornell University)|Aug 19, 2019

Face and Expression Recognition参考文献 52被引用 6

一句话总结

本文提出了一种鲁棒且高效的模糊C均值聚类算法REFCMFS，通过引入$L_{2,1}$-范数损失实现对异常值的鲁棒性，并对隶属度矩阵施加直接的$L_0$-范数约束以实现灵活的稀疏性。通过利用排序函数嵌入$L_0$-范数而无需近似，REFCMFS在多个基准数据集上的聚类准确率和收敛速度均优于当前最先进方法。

ABSTRACT

Clustering is an effective technique in data mining to group a set of objects in terms of some attributes. Among various clustering approaches, the family of K-Means algorithms gains popularity due to simplicity and efficiency. However, most of existing K-Means based clustering algorithms cannot deal with outliers well and are difficult to efficiently solve the problem embedded the $L_0$-norm constraint. To address the above issues and improve the performance of clustering significantly, we propose a novel clustering algorithm, named REFCMFS, which develops a $L_{2,1}$-norm robust loss as the data-driven item and imposes a $L_0$-norm constraint on the membership matrix to make the model more robust and sparse flexibly. In particular, REFCMFS designs a new way to simplify and solve the $L_0$-norm constraint without any approximate transformation by absorbing $\|\cdot\|_0$ into the objective function through a ranking function. These improvements not only make REFCMFS efficiently obtain more promising performance but also provide a new tractable and skillful optimization method to solve the problem embedded the $L_0$-norm constraint. Theoretical analyses and extensive experiments on several public datasets demonstrate the effectiveness and rationality of our proposed REFCMFS method.

研究动机与目标

• 解决传统K-Means和FCM聚类在处理异常值以及因$L_0$-范数约束导致的计算低效性方面的局限性。
• 开发一种兼具对异常值鲁棒性与隶属度分配灵活稀疏性的聚类模型。
• 为解决$L_0$-范数约束聚类问题提供一种可处理的、非近似的优化方法。
• 在保持低计算复杂度的同时，提升聚类性能与收敛速度。

提出的方法

• 引入$L_{2,1}$-范数鲁棒损失函数，以降低数据驱动项中异常值的影响。
• 对隶属度矩阵施加直接的$L_0$-范数约束，以实现稀疏且灵活的聚类分配。
• 提出一种新颖的优化策略，通过排序函数将$L_0$-范数融入目标函数，避免近似处理。
• 使用一种具有收敛性与最优性证明的迭代算法求解所得优化问题。
• 采用类似软阈值化的更新规则对隶属度矩阵进行更新，以保持稀疏性。
• 通过平衡$L_{2,1}$-损失与$L_0$-稀疏性，融合硬划分与软划分的优势。

实验结果

研究问题

• RQ1 在聚类中采用直接的、非近似的$L_0$-范数约束方法，能否提升鲁棒性与效率？
• RQ2 将$L_{2,1}$-范数损失与$L_0$-范数稀疏性结合，是否能在噪声或异常值较多的数据集上实现更优的聚类性能？
• RQ3 与现有鲁棒FCM变体相比，所提方法能否实现更快的收敛速度与更低的计算复杂度？
• RQ4 由$L_0$-范数诱导的灵活稀疏性与固定稀疏性或二值划分相比，在聚类质量上表现如何？

主要发现

• REFCMFS在ORL、Yale、COIL20、USPS、YaleB和COIL100数据集上，相较于K-Means++的平均性能提升分别为7.32%、9.5%、5.985%、0.53%和4.565%。
• REFCMFS在相同数据集上优于K-Medoids 16.89%、10.475%、21.03%、4.36%和18.14%，展现出更优的鲁棒性。
• REFCMFS在ORL、Yale、COIL20、USPS、YaleB和COIL100数据集上，相较于LSC的平均性能提升分别为5.065%、5.68%、6.96%、8%、0.815%和3.605%。
• REFCMFS在相同数据集上相较于RSFKM的平均性能提升分别为4.565%、8.42%、2.615%、3.875%、0.735%和1.365%，表明其在稀疏性控制与性能方面更优。
• 简化版sim-REFCMFS达到第二好的性能，证实了$L_0$-范数稀疏性与$L_{2,1}$-范数损失设计的有效性。
• 收敛曲线与复杂度分析表明，REFCMFS在所有数据集上均比GMM、SC和RSFKM收敛更快且时间复杂度更低。