[论文解读] Variable feature weighted fuzzy k-means algorithm for high dimensional data

Vikas Singh, Nishchal K. Verma|arXiv (Cornell University)|Dec 24, 2019

Advanced Clustering Algorithms Research参考文献 27被引用 6

一句话总结

该论文提出了一种基于熵的可变特征加权模糊c均值算法，通过在每个聚类中动态分配特征权重，利用两个熵项（一个用于模糊隶属度，另一个用于特征权重分布）来增强高维数据的聚类效果。该方法通过最小化类内离散度并最大化类间分离度，提升了聚类的准确性和鲁棒性，在多个数据集上优于最先进方法，且在不同初始化设置下表现一致。

ABSTRACT

This paper presents a new fuzzy k-means algorithm for the clustering of high-dimensional data in various subspaces. Since high-dimensional data, some features might be irrelevant and relevant but may have different significance in the clustering process. For better clustering, it is crucial to incorporate the contribution of these features in the clustering process. To combine these features, in this paper, we have proposed a novel fuzzy k-means clustering algorithm by modifying the objective function of the fuzzy k-means using two different entropy terms. The first entropy term helps to minimize the within-cluster dispersion and maximize the negative entropy to determine clusters to contribute to the association of data points. The second entropy term helps control the weight of the features because different features have different contributing weights during the clustering to obtain a better partition. The proposed approach performance is presented in various clustering measures (AR, RI and NMI) on multiple datasets and compared with six other state-of-the-art methods. Impact Statement- In real-world applications, cluster-dependent feature weights help in partitioning the data set into more meaningful clusters. These features may be relevant, irrelevant, or redundant, but they each have different contributions during the clustering process. In this paper, a cluster-dependent feature weights approach is presented using fuzzy k-means to assign higher weights to relevant features and lower weights to irrelevant features during clustering. The method is validated using both supervised and unsupervised performance measures on real-world and synthetic datasets to demonstrate its effectiveness compared to state-of-the-art methods.

研究动机与目标

• 解决传统模糊c均值算法对所有特征一视同仁的局限性，从而在高维、稀疏和噪声数据上表现欠佳的问题。
• 通过每个聚类的动态特征加权，降低对初始聚类中心选择的敏感性，提升聚类鲁棒性。
• 通过在目标函数中同时优化模糊隶属度熵和特征权重熵，提升聚类质量。
• 通过在迭代过程中自动更新权重和隶属度控制参数，实现数据的一致且最优的划分。

提出的方法

• 通过引入两个熵项，修改模糊c均值的目标函数：一个用于最小化类内离散度，最大化负隶属度熵，以改善聚类分离度。
• 引入第二个熵项以控制特征权重，使不同特征根据其在每个聚类中的相关性，对聚类形成产生可变贡献。
• 使用基于梯度的优化方法，迭代更新特征权重，以反映每个特征在确定聚类隶属关系中的重要性。
• 同时优化模糊划分系数和特征权重熵，确保聚类结果稳定且一致。
• 采用混合目标函数，平衡数据离散度、隶属度确定性和特征权重分布，以增强聚类结构的检测能力。
• 所提方法通过基于熵的特征加权和自适应参数更新，对初始聚类中心不敏感。

实验结果

研究问题

• RQ1 如何实现每个聚类的自适应特征加权，以提升高维数据中的聚类性能？
• RQ2 与现有模糊c均值变体相比，同时引入隶属度熵和权重熵在多大程度上提升了聚类的鲁棒性和准确性？
• RQ3 所提算法能否在不同初始聚类中心配置下实现一致的聚类结果？
• RQ4 与最先进方法（如EWKM、AFKM、FCM和SCAD）相比，该方法在高维和稀疏数据集上的性能如何？
• RQ5 基于熵的优化对聚类算法的计算复杂度和收敛行为有何影响？

主要发现

• 所提方法在所有基准数据集上均表现出优越的聚类性能，平均调整兰德指数（ARI）、兰德指数（RI）和标准化互信息（NMI）值均显著高于KM、EWKM、AFKM、FCM和SCAD。
• 在Lung和GLIOMA数据集上，所提算法的平均ARI分别为0.89和0.85，较次优方法（SCAD）高出5-7%。
• 聚类有效性指数（PC、CE、XB、DI）证实，所提方法生成的聚类更紧凑且分离度更高，PC值表明聚类划分处于最优状态。
• 算法对初始聚类中心选择具有鲁棒性，十次独立实验中聚类指标的方差极小，表现一致。
• IRIS和GLIOMA数据集的特征权重可视化结果表明，不同特征对各聚类的贡献程度不同，验证了可变加权机制的有效性。
• 尽管计算复杂度较高（O(nk²m + nkm²)），但聚类准确性和稳定性的提升使其计算成本具有合理性。