[论文解读] Simple and Scalable Sparse k-means Clustering via Feature Ranking

Zhiyue Zhang, Kenneth Lange+1 more|arXiv (Cornell University)|Feb 20, 2020

Face and Expression Recognition参考文献 51被引用 7

一句话总结

本文提出了一种简单且可扩展的稀疏k均值聚类方法——基于特征排序的稀疏k均值（SKFR），该方法通过迭代地根据特征对聚类分离的贡献进行排序和截断来实现。该方法在显著降低计算成本的同时实现了具有竞争力的性能，且仅需一个超参数（稀疏度s），从而在高维数据中实现了高效且可解释的聚类。

ABSTRACT

Clustering, a fundamental activity in unsupervised learning, is notoriously difficult when the feature space is high-dimensional. Fortunately, in many realistic scenarios, only a handful of features are relevant in distinguishing clusters. This has motivated the development of sparse clustering techniques that typically rely on k-means within outer algorithms of high computational complexity. Current techniques also require careful tuning of shrinkage parameters, further limiting their scalability. In this paper, we propose a novel framework for sparse k-means clustering that is intuitive, simple to implement, and competitive with state-of-the-art algorithms. We show that our algorithm enjoys consistency and convergence guarantees. Our core method readily generalizes to several task-specific algorithms such as clustering on subsets of attributes and in partially observed data settings. We showcase these contributions thoroughly via simulated experiments and real data benchmarks, including a case study on protein expression in trisomic mice.

研究动机与目标

• 解决因无关或噪声特征导致高维数据聚类性能不佳的问题。
• 克服现有稀疏k均值方法在计算复杂度和初始化敏感性方面的局限。
• 开发一种在保持原始特征空间可解释性的同时确保特征稀疏性的方法。
• 通过将参数数量减少至单一稀疏度参数s，最小化超参数调优。
• 在真实场景中实现可扩展性和鲁棒性，包括处理缺失数据和异常值。

提出的方法

• 提出一种基于迭代特征排序与截断的新型稀疏k均值聚类框架。
• 采用基于组间平方和的特征排序准则，以识别最具信息量的特征。
• 在每次迭代中，根据特征对聚类分离的贡献选择前s个特征，并仅使用这些特征重新计算聚类中心。
• 采用块坐标下降策略，交替优化聚类分配和特征子集。
• 通过将聚类中心投影到稀疏球约束上，引入投影步骤以强制实现稀疏性。
• 通过核心算法的模块化扩展，自然推广至存在缺失数据和异常值的场景。

实验结果

研究问题

• RQ1 与现有稀疏k均值方法相比，基于简单特征排序的方法是否能在显著降低计算成本的同时实现具有竞争力的聚类性能？
• RQ2 在具有稀疏真实信号的高维设置下，该方法在收敛性和一致性方面表现如何？
• RQ3 与主成分分析（PCA）等降维技术相比，该方法在多大程度上保持了特征的可解释性？
• RQ4 该方法对稀疏度参数s的选择有多敏感？是否能通过标准方法（如间隙统计量）可靠地进行调优？
• RQ5 该框架能否在不牺牲可扩展性或性能的前提下，扩展以处理缺失数据和异常值？

主要发现

• 所提出的SKFR方法在聚类性能上与最先进的稀疏k均值算法相当，同时计算开销显著更低。
• 在假设的稀疏模型下，该算法表现出强大的收敛性和一致性保证。
• 在模拟数据和真实数据集（包括三体小鼠的蛋白质表达数据）上的实证结果证实了该方法的鲁棒性和准确性。
• 该方法仅需一个超参数（s，即稀疏度），可通过间隙统计量或交叉验证进行调优，且稳定性高。
• 对部分观测数据和异常值敏感场景的扩展简单直接，且保持了高性能。
• 该方法通过在原始特征空间中选择特征，保留了可解释性，而不同于基于PCA的方法所生成的非可解释线性组合。