[论文解读] On conformal divergences and their population minimizers

Richard Nock, Frank Nielsen+1 more|arXiv (Cornell University)|Nov 20, 2013

Statistical Mechanics and Entropy参考文献 18被引用 5

一句话总结

本文引入了共形散度（conformal divergences），这是一种在新型 $(u,v)$-几何结构下推广普通和总Bregman散度的广义散度类。该文从分析和几何角度刻画了这些散度的左、右总体最小化器，证明了共形散度对其左最小化器是完备的，而对右最小化器则等价于总Bregman散度，其结果对鲁棒聚类算法具有重要意义。

ABSTRACT

Total Bregman divergences are a recent tweak of ordinary Bregman divergences originally motivated by applications that required invariance by rotations. They have displayed superior results compared to ordinary Bregman divergences on several clustering, computer vision, medical imaging and machine learning tasks. These preliminary results raise two important problems : First, report a complete characterization of the left and right population minimizers for this class of total Bregman divergences. Second, characterize a principled superset of total and ordinary Bregman divergences with good clustering properties, from which one could tailor the choice of a divergence to a particular application. In this paper, we provide and study one such superset with interesting geometric features, that we call conformal divergences, and focus on their left and right population minimizers. Our results are obtained in a recently coined $(u, v)$-geometric structure that is a generalization of the dually flat affine connections in information geometry. We characterize both analytically and geometrically the population minimizers. We prove that conformal divergences (resp. total Bregman divergences) are essentially exhaustive for their left (resp. right) population minimizers. We further report new results and extend previous results on the robustness to outliers of the left and right population minimizers, and discuss the role of the $(u, v)$-geometric structure in clustering. Additional results are also given.

研究动机与目标

• 刻画共形散度在 $(u,v)$-几何结构下的左、右总体最小化器。
• 建立共形散度对其左总体最小化器的完备性，推广已知的普通Bregman散度对右最小化器的完备性结果。
• 通过识别具有强几何与鲁棒性特性的原则性超集，拓展Bregman型散度在聚类中的适用范围。
• 分析总体最小化器在异常值下的鲁棒性，推广已知的总Bregman散度结果。
• 探讨 $(u,v)$-几何结构与聚类中适用的等价关系之间的联系。

提出的方法

• 本文采用 $(u,v)$-几何结构，这是信息几何中对偶平坦仿射联络的推广，通过两个坐标映射 $u$ 和 $v$ 定义共形散度。
• 通过求解涉及生成函数 $\varphi$ 的梯度以及由 $v$ 定义的对偶坐标系的方程，推导出总体最小化器。
• 分析采用分析与几何方法刻画最小化器，包括求解隐式方程，如总指数散度的 $\exp(2\mu) - \exp(\overline{x}_\varphi + \mu) + \mu - \overline{x} = 0$。
• 通过考察最小化器在扰动和病态情形（如最小化器在定义域内不唯一）下的行为，研究其鲁棒性。
• 将框架扩展至缩放Bregman散度，结果表明左最小化器始终有界于数据的凸包内。
• 本文证明了在 $v$-坐标下，平方损失是 $(u,v)$-结构中唯一的1D对称共形散度。

实验结果

研究问题

• RQ1 在 $(u,v)$-几何结构下，共形散度的左、右总体最小化器是什么？
• RQ2 共形散度是否对其左总体最小化器是完备的？其右最小化器是否等价于总Bregman散度？
• RQ3 $(u,v)$-几何结构如何与等价关系及聚类几何相关联？
• RQ4 共形散度的左、右总体最小化器对异常值的鲁棒性如何？
• RQ5 缩放Bregman散度（共形散度的推广）在总体最小化器方面表现如何？

主要发现

• 共形散度对其左总体最小化器是完备的，即任何此类左最小化器均对应一个共形散度。
• 总Bregman散度对其右总体最小化器是完备的，推广了已知的普通Bregman散度对右最小化器的完备性结果。
• 任意 $v$-共形散度的左总体最小化器是唯一的，而右最小化器可能不唯一，示例表明非唯一性可覆盖整个定义域。
• 对于总幂损失散度，其右总体最小化器满足方程 $\exp(2\mu) - \exp(\overline{x}_\varphi + \mu) + \mu - \overline{x} = 0$。
• 在 $(u,v)$-几何结构中，$v$-坐标下的平方损失是唯一的1D对称共形散度。
• 缩放共形散度的左总体最小化器位于数据的凸包内，具体位于 $[\min_i x_i, \max_i x_i]$ 区间内，且唯一。