[论文解读] Total Jensen divergences: Definition, Properties and k-Means++ Clustering

Frank Nielsen, Richard Nock|arXiv (Cornell University)|Sep 27, 2013

Statistical Mechanics and Entropy参考文献 22被引用 9

一句话总结

本文引入了全 Jensen 散度（total Jensen divergences），这是一种基于凸函数导出的新一类旋转不变散度，可推广 Jensen 散度与 Bregman 散度。研究证明，k-means++ 初始化在这些散度下可提供最优 k-means 聚类的常数因子近似，且对聚类质量与全 Jensen 中心点对异常值的鲁棒性提供了理论边界。

ABSTRACT

We present a novel class of divergences induced by a smooth convex function called total Jensen divergences. Those total Jensen divergences are invariant by construction to rotations, a feature yielding regularization of ordinary Jensen divergences by a conformal factor. We analyze the relationships between this novel class of total Jensen divergences and the recently introduced total Bregman divergences. We then proceed by defining the total Jensen centroids as average distortion minimizers, and study their robustness performance to outliers. Finally, we prove that the k-means++ initialization that bypasses explicit centroid computations is good enough in practice to guarantee probabilistically a constant approximation factor to the optimal k-means clustering.

研究动机与目标

• 提出一类新的散度——全 Jensen 散度，其在旋转下保持不变，并推广了现有的 Jensen 散度与 Bregman 散度。
• 将全 Jensen 中心点定义为平均畸变最小化器，并分析其对异常值的鲁棒性。
• 证明 k-means++ 初始化在全 Jensen 散度下可提供最优 k-means 聚类的常数因子近似。
• 研究这些散度的几何与统计性质，特别是其非可分的共形因子结构及其与全 Bregman 散度的关系。

提出的方法

• 本文将全 Jensen 散度定义为标准偏斜 Jensen 散度的共形缩放，其共形因子由生成函数的 Hessian 矩阵导出。
• 在 Hessian 矩阵的条件数（K₁）与生成函数的利普希茨条件（K₂）的假设下，建立了全 Jensen 散度的理论边界。
• 通过推导总 Jensen 潜在能量的上界，证明 k-means++ 初始化可获得最优 k-means 聚类的常数近似因子。
• 提出一种两阶段迭代算法，用于在闭式解不存在时近似全 Jensen 中心点。
• 通过分析全 Jensen 中心点的影响力函数来评估其鲁棒性，表明鲁棒性取决于生成函数的选择。
• 将全 Jensen 散度与全 Bregman 散度进行比较，突出两者在共形因子结构与极限行为上的差异。

实验结果

研究问题

• RQ1 全 Jensen 散度能否被定义为在旋转下保持不变？这种不变性如何影响其几何与统计性质？
• RQ2 当使用全 Jensen 散度作为畸变度量时，k-means++ 初始化是否能提供最优 k-means 聚类的常数因子近似？
• RQ3 全 Jensen 中心点对异常值是否具有鲁棒性？其鲁棒性如何依赖于生成函数的选择？
• RQ4 全 Jensen 散度与全 Bregman 散度之间有何关系，特别是在共形因子结构与极限情形方面？
• RQ5 在多变量且不可分的情况下，全 Jensen 中心点是否是加权畸变平均的唯一最小化器？

主要发现

• 全 Jensen 散度满足三角不等式，其常数因子为 U = 2(1 + K₂)K₁² / ε，其中 K₁ 为 Hessian 矩阵的条件数，K₂ 为利普希茨常数。
• 对称不等式条件成立，其常数因子为 V = K₁²(1 + K₂)/ε，从而在 k-means++ 初始化下保证了聚类潜在能量的有界性。
• 使用 k-means++ 时，总 Jensen 潜在能量的期望值被限制在最优潜在能量的 2U²(1 + V)(2 + log k) 倍以内，从而证明了常数近似因子的存在。
• 在给定假设下，全 Jensen 中心点的影响力函数有界，表明其对异常值具有鲁棒性。
• 全 Jensen 中心点通常不存在闭式解，但可通过两阶段迭代算法有效近似。
• 全 Jensen-Shannon 散度不满足度量性质，而标准 Jensen-Shannon 散度的平方根则满足。