[论文解读] Strong Consistency of Factorial K-means Clustering

Yoshikazu Terada|arXiv (Cornell University)|Jan 4, 2013

Advanced Clustering Algorithms Research参考文献 9被引用 4

一句话总结

本文通过证明当样本量增加时，样本估计量几乎必然收敛到总体最小化器，建立了因子K均值（FKM）聚类在独立同分布（i.i.d.）抽样下的强一致性。该证明扩展了K均值和简化K均值聚类的框架，利用了在紧致参数集上的均匀大数定律和目标函数的连续性。

ABSTRACT

Factorial k-means (FKM) clustering is a method for clustering objects in a low-dimensional subspace. The advantage of this method is that the partition of objects and the low-dimensional subspace reflecting the cluster structure are obtained, simultaneously. Conditions that ensure the almost sure convergence of the estimator of FKM clustering as the sample size increases unboundedly are derived. The result is proved for a more general model including FKM clustering.

研究动机与目标

• 建立在独立同分布抽样条件下因子K均值（FKM）聚类的强一致性。
• 推导确保FKM目标函数在总体水平上存在全局最小化器的充分条件。
• 将K均值和简化K均值聚类中使用的理论一致性框架扩展到FKM设置。
• 证明FKM目标函数的统一几乎必然收敛性及其最小化器的连续性。
• 为未来关于FKM估计器收敛速度的研究提供理论基础。

提出的方法

• 将FKM聚类形式化为经验损失函数的最小化：$ FKM_n(F, A) = \frac{1}{n} \sum_{i=1}^n \min_{1 \leq j \leq k} \|A^T \mathbf{x}_i - \mathbf{f}_j\|^2 $，其中 $ A $ 是一个 $ p \times q $ 正交矩阵，且 $ \mathbf{f}_j \in \mathbb{R}^q $。
• 利用大数定律（SLLN）证明经验目标函数几乎必然收敛到其总体对应项：$ \lim_{n \to \infty} FKM(F, A, P_n) = FKM(F, A, P) \text{ a.s.} $
• 证明最优聚类中心 $ F_n $ 最终落在紧致集 $ \mathcal{R}_k^*(5M) $ 内，从而确保估计量的紧致性。
• 应用Blum-DeHardt统一大数定律，证明在紧致参数空间上目标函数的统一收敛性。
• 利用总体目标函数 $ \Psi(\cdot, P) $ 在紧致集上的连续性，建立最小化器的收敛性。
• 通过 $ \tilde{\theta}_n $ 的扰动论证，其在 $ n $ 足够大时与估计量 $ \hat{\theta}_n $ 一致，证明 $ \lim_{n \to \infty} d(\hat{\theta}_n, \Theta') = 0 \text{ a.s.} $

实验结果

研究问题

• RQ1 在何种条件下，FKM聚类估计量会几乎必然收敛到总体最小化器？
• RQ2 何种条件可确保总体FKM目标函数存在全局最小化器？
• RQ3 FKM聚类的强一致性与K均值和简化K均值聚类相比如何？
• RQ4 是否可在紧致参数集上建立FKM目标函数的统一大数定律及其连续性？
• RQ5 在最小概率假设下，FKM估计器收敛性的理论基础是什么？

主要发现

• 随着样本量增加，样本FKM估计量几乎必然收敛到总体最小化器，从而确立了强一致性。
• 对于足够大的 $ n $，最优聚类中心 $ F_n $ 几乎必然包含在紧致集 $ \mathcal{R}_k^*(5M) $ 内，从而确保估计量的紧致性。
• 总体目标函数 $ \Psi(\cdot, P) $ 在紧致参数空间 $ \Theta_k^*(5M) $ 上连续，从而支持最小化器的收敛性。
• 在紧致集上，FKM目标函数满足统一大数定律，确保经验损失到总体损失的统一收敛。
• 样本估计量 $ \hat{\theta}_n $ 与总体最小化器集合 $ \Theta' $ 之间的距离几乎必然收敛于零。
• 该结果在i.i.d.抽样下成立，且证明框架可扩展至平稳遍历过程，除SLLN所需条件外，无需额外i.i.d.假设。