[论文解读] On $w$-mixtures: Finite convex combinations of prescribed component distributions

Frank Nielsen, Richard Nock|arXiv (Cornell University)|Aug 2, 2017

Statistical Mechanics and Entropy参考文献 63被引用 12

一句话总结

本文引入了 $w$-混合分布，即固定分量分布的有限凸组合，证明了此类混合分布之间的 Kullback-Leibler (KL) 散度在数学上等价于由香农负熵生成的 Bregman 散度。这种对偶平坦的信息几何结构使得 $w$-混合分布的分布式估计中能够实现最优、无信息损失的 KL 平均，尤其适用于共享分量的高斯混合模型。

ABSTRACT

We consider the space of $w$-mixtures which is defined as the set of finite statistical mixtures sharing the same prescribed component distributions closed under convex combinations. The information geometry induced by the Bregman generator set to the Shannon negentropy on this space yields a dually flat space called the mixture family manifold. We show how the Kullback-Leibler (KL) divergence can be recovered from the corresponding Bregman divergence for the negentropy generator: That is, the KL divergence between two $w$-mixtures amounts to a Bregman Divergence (BD) induced by the Shannon negentropy generator. Thus the KL divergence between two Gaussian Mixture Models (GMMs) sharing the same Gaussian components is equivalent to a Bregman divergence. This KL-BD equivalence on a mixture family manifold implies that we can perform optimal KL-averaging aggregation of $w$-mixtures without information loss. More generally, we prove that the statistical skew Jensen-Shannon divergence between $w$-mixtures is equivalent to a skew Jensen divergence between their corresponding parameters. Finally, we state several properties, divergence identities, and inequalities relating to $w$-mixtures.

研究动机与目标

• 将 $w$-混合分布的空间形式化为使用 Bregman 几何的对偶平坦统计流形。
• 通过香农负熵生成器，建立 $w$-混合分布之间 KL 散度与 Bregman 散度的等价性。
• 通过 KL 平均实现 $w$-混合分布的最优、无信息损失聚合，用于分布式统计估计。
• 将发散恒等式（包括偏置 Jensen-Shannon 散度和 $f$-发散不等式）推广至具有固定分量的 $w$-混合分布。
• 为高效推断与估计 $w$-高斯混合模型（w-GMM）提供理论基础。

提出的方法

• 将 $w$-混合分布定义为固定分量密度的凸组合 $m(x;w) = \sum_{i=0}^{k-1} w_i p_i(x)$，其中 $w \in \Delta_{k-1}^\circ$。
• 将混合族流形 $\mathcal{M}$ 构造为所有此类 $w$-混合分布的集合，并以香农负熵作为 Bregman 生成器，赋予其信息几何结构。
• 证明任意两个 $w$-混合分布之间的 KL 散度等于由香农负熵生成器诱导的 Bregman 散度。
• 利用流形的对偶平坦结构，实现无信息损失的最优 KL 平均，这对分布式推断至关重要。
• 将结果扩展至偏置 Jensen-Shannon 散度，表明其与参数空间中偏置 Jensen 散度等价。
• 利用混合权重的加权差值，推导 $w$-混合分布之间总变差距离的下界。

实验结果

研究问题

• RQ1 两个 $w$-混合分布之间的 KL 散度能否表示为 Bregman 散度？若能，其生成器为何？
• RQ2 $w$-混合分布流形的对偶平坦几何结构是否允许通过 KL 平均实现最优、无信息损失的聚合？
• RQ3 对于具有固定分量的 $w$-混合分布，$f$-发散（如总变差和 Jensen-Shannon 散度）的行为如何？
• RQ4 偏置 Jensen-Shannon 散度与参数空间中对应偏置 Jensen 散度之间有何关系？
• RQ5 能否从权重向量出发，推导出 $w$-混合分布之间总变差距离的紧下界？

主要发现

• 任意两个 $w$-混合分布之间的 KL 散度在数学上等价于由香农负熵生成的 Bregman 散度，从而支持精确的几何计算。
• $w$-混合分布流形在由香农负熵诱导的 Bregman 几何下具有对偶平坦性，支持高效的几何信息操作。
• 由于对偶平坦结构，$w$-混合分布的 KL 平均是最优且无信息损失的，这对分布式统计估计至关重要。
• $w$-混合分布之间的 $\alpha$-Jensen-Shannon 散度等价于其权重向量之间的 $\alpha$-Jensen 散度，推广了指数族中已知结果。
• 推导出两个 $w$-混合分布之间总变差距离的下界为 $\frac{1}{2}\left|\left|\sum_{i\in I}(w_i - w_i')\right| - \left|\sum_{i\in[D]\setminus I}(w_i - w_i')\right|\right|$，其中 $I$ 是满足 $w_i \geq w_i'$ 的索引集。
• 对于 $\epsilon$-混合分布，KL 散度可任意接近于 Bregman 散度，且满足 $\mathrm{TV}(p, p^\epsilon) \leq \epsilon$，从而提供近似保证。