[论文解读] Uniform Concentration Bounds toward a Unified Framework for Robust Clustering

Debolina Paul, Saptarshi Chakraborty+2 more|arXiv (Cornell University)|Oct 26, 2021

Statistical Methods and Inference被引用 4

一句话总结

本文提出了一种统一且稳健的基于中心的聚类框架，采用广义Bregman散度损失下的极值平均（MoM）估计。通过Rademacher复杂度和Dudley的链式法建立统一的集中不等式，实现了强一致性及$O(n^{-1/2})$的误差率，且无需对异常值的分布做假设，也无需对$n$与$p$的比值施加限制，从而统一并从理论上强化了现有的$k$-means变体。

ABSTRACT

Recent advances in center-based clustering continue to improve upon the drawbacks of Lloyd's celebrated $k$-means algorithm over $60$ years after its introduction. Various methods seek to address poor local minima, sensitivity to outliers, and data that are not well-suited to Euclidean measures of fit, but many are supported largely empirically. Moreover, combining such approaches in a piecemeal manner can result in ad hoc methods, and the limited theoretical results supporting each individual contribution may no longer hold. Toward addressing these issues in a principled way, this paper proposes a cohesive robust framework for center-based clustering under a general class of dissimilarity measures. In particular, we present a rigorous theoretical treatment within a Median-of-Means (MoM) estimation framework, showing that it subsumes several popular $k$-means variants. In addition to unifying existing methods, we derive uniform concentration bounds that complete their analyses, and bridge these results to the MoM framework via Dudley's chaining arguments. Importantly, we neither require any assumptions on the distribution of the outlying observations nor on the relative number of observations $n$ to features $p$. We establish strong consistency and an error rate of $O(n^{-1/2})$ under mild conditions, surpassing the best-known results in the literature. The methods are empirically validated thoroughly on real and synthetic datasets.

研究动机与目标

• 为解决在经验上成功但理论脆弱的稳健$k$-means变体中缺乏有限样本理论保证的问题。
• 将多种基于中心的聚类方法——如$k$-means、$k$-medians和Bregman $k$-means——统一到一个基于极值平均（MoM）估计的单一稳健框架下。
• 提供严谨的统计分析，包括MoM聚类目标的统一集中不等式，适用于一般Bregman散度，且无需假设异常值服从i.i.d.或轻尾分布。
• 在对样本大小$n$与维度$p$的关系假设最少的前提下，建立强一致性和有限样本误差率，优于现有结果。
• 通过实证评估展示在不同聚类数量和异常值水平下的稳定性，弥合理论稳健性与实际性能之间的差距。

提出的方法

• 该框架采用极值平均（MoM）估计策略以增强基于中心的聚类的稳健性，将数据划分为若干块，最小化块内经验风险的中位数。
• 可推广至任意Bregman散度损失，不仅限于平方欧氏距离，从而适用于指数族模型。
• 利用Rademacher复杂度和Dudley的链式法推导出统一的集中不等式，实现对估计误差的有限样本控制。
• 分析仅假设内点为i.i.d.采样，对异常值集合无任何限制——异常值可为任意分布、重尾或依赖结构。
• 该方法保持与Lloyd的$k$-means相当的每次迭代复杂度，可通过基于梯度的算法实现高效优化。
• 在温和的正则性条件下建立理论保证，包括聚类中心的有界性以及内点分布的次高斯行为。

实验结果

研究问题

• RQ1 能否为稳健的基于中心的聚类开发一个统一的理论框架，使其能涵盖在一般相异度量下的现有$k$-means变体？
• RQ2 能否在不假设异常值为轻尾或i.i.d.的前提下，为MoM聚类目标建立统一的集中不等式？
• RQ3 在假设最少的前提下，特别是当$n$与$p$之间不存在严格关系时，可实现怎样的有限样本误差率？
• RQ4 与基于经验风险最小化（ERM）的方法相比，MoM框架在实践中如何提升对异常值的鲁棒性？
• RQ5 在无需对异常值做渐近或分布假设的前提下，能否实现理论误差率$O(n^{-1/2})$？

主要发现

• 所提出的基于MoM的聚类框架在温和条件下实现了强一致性和$O(n^{-1/2})$的误差率，优于文献中已知的最佳结果。
• 该框架将多种$k$-means变体——包括$k$-means、$k$-medians和Bregman $k$-means——统一到一个理论框架之下。
• 通过Rademacher复杂度和Dudley的链式法建立了统一的集中不等式，实现有限样本分析，且无需对异常值施加矩条件。
• 实证结果表明，MOMPKM（MoM Power $k$-means）在聚类数量和异常值比例增加时均保持稳定性能，优于基于ERM和非稳健的方法。
• 当异常值数量为$O(n^{eta})$（$0 < eta < 1$）时，误差率呈$O(n^{(eta-1)/2})$的尺度，一致性要求$| ext{outliers}| = o(n)$。
• 即使异常值无界或存在依赖关系，该方法仍保持稳健，表明MoM估计能有效缓解其影响，且无需分布假设。