[论文解读] Weighted total variation based convex clustering

Guodong Xu, Yu Xia+1 more|arXiv (Cornell University)|Aug 28, 2018

Remote-Sensing Image Classification参考文献 23被引用 3

一句话总结

本文提出了一种加权ℓ₁-范数凸聚类模型，通过改进基于总变差的凸聚类方法，实现了对一般数据的精确聚类，并提供了更严格的理论保证。该模型在合成数据和真实世界数据集上，相较于k-means和层次聚类，表现出更优的实验性能，尤其在高维和大簇设置下表现突出。

ABSTRACT

Data clustering is a fundamental problem with a wide range of applications. Standard methods, eg the $k$-means method, usually require solving a non-convex optimization problem. Recently, total variation based convex relaxation to the $k$-means model has emerged as an attractive alternative for data clustering. However, the existing results on its exact clustering property, ie, the condition imposed on data so that the method can provably give correct identification of all cluster memberships, is only applicable to very specific data and is also much more restrictive than that of some other methods. This paper aims at the revisit of total variation based convex clustering, by proposing a weighted sum-of-$\ell_1$-norm relating convex model. Its exact clustering property established in this paper, in both deterministic and probabilistic context, is applicable to general data and is much sharper than the existing results. These results provided good insights to advance the research on convex clustering. Moreover, the experiments also demonstrated that the proposed convex model has better empirical performance when be compared to standard clustering methods, and thus it can see its potential in practice.

研究动机与目标

• 解决现有基于总变差的凸聚类方法的局限性，这些方法具有严格的精确聚类条件，且仅适用于特定类型的数据。
• 开发一种凸聚类模型，可保证对一般数据分布（包括任意数量的簇和非独立同分布数据）实现精确聚类。
• 与先前的TV-based方法相比，提供更紧密的理论分离条件，增强可扩展性及簇大小比例的鲁棒性。
• 在高维和大簇规模的真实世界数据集上，证明该模型在聚类性能上显著优于标准k-means和层次聚类。

提出的方法

• 在凸优化框架中提出一种加权ℓ₁-范数正则化项，以替代标准的总变差公式，从而实现更好的簇间分离。
• 将聚类问题表述为凸优化问题：最小化数据点与簇中心偏差的Frobenius范数，加上数据点之间成对差异的加权ℓ₁-范数。
• 通过对偶性和次微分分析，在确定性和概率设定下建立精确聚类条件，确保解能恢复真实的簇成员关系。
• 利用原始-对偶优化技术及类似ADMM的求解器高效计算解，实现对高维数据的可扩展性。
• 在ℓ₁-范数项中引入与数据相关的权重，自适应地强调簇间差异性，提升对簇大小不平衡和非球形簇的鲁棒性。
• 通过在非凸合成簇和真实数据集（Iris、AR人脸、Libras、Leaf）上的数值实验验证模型，使用Rand指数作为评估指标。

实验结果

研究问题

• RQ1 基于加权总变差的凸聚类模型能否实现对一般数据分布（包括任意数量的簇和非独立同分布数据）的精确聚类？
• RQ2 与现有TV-based方法及其他凸聚类方法相比，该模型在精确聚类方面的理论分离条件在松散程度和可扩展性方面有何差异？
• RQ3 在高维和大簇规模的真实世界数据集上，该模型是否在聚类准确率方面显著优于标准k-means和层次聚类？
• RQ4 数据结构特征（如非凸簇、簇不平衡、高维性）对所提出的凸聚类模型性能有何影响？

主要发现

• 所提出的加权ℓ₁-范数凸聚类模型能够对一般数据实现精确聚类，其理论保证显著优于现有TV-based方法。
• 该模型的精确聚类条件比先前的TV-based方法更宽松，在簇大小比例和可扩展性方面优于其他凸聚类技术。
• 在非凸合成簇上，模型在100次运行中Rand指数达到0.996，标准差为零，显著优于k-means（均值0.517）和k-means++（均值0.491）。
• 在AR人脸数据集上（每簇2,000张图像，100维），模型显著优于所有基线方法，展现出在高维、大簇数据上的强大性能。
• 在所有测试数据集（Iris、AR人脸、Libras、Leaf）中，该模型始终排名第一，各项指标均取得最高Rand指数。
• 实验结果证实，通过加权总变差对k-means进行凸松弛不仅理论合理，而且在实际中表现更优，尤其在具有挑战性的场景下。