[论文解读] Optimal transport for Gaussian mixture models

Yongxin Chen, Tryphon T. Georgiou+1 more|arXiv (Cornell University)|Oct 22, 2017

Markov Chains and Monte Carlo Methods参考文献 3被引用 9

一句话总结

本文提出了一种针对高斯混合模型（GMMs）的新型最优传输框架，通过将传输限制在GMM密度的子流形上，实现了计算高效的比较、插值与平均，同时保持了GMM结构。该方法将复杂度降低为具有O(N)变量的线性规划，保持了GMM流形内的测地线路径，为标准最优传输提供了一种低成本、结构保持的替代方案。

ABSTRACT

We present an optimal mass transport framework on the space of Gaussian mixture models, which are widely used in statistical inference. Our method leads to a natural way to compare, interpolate and average Gaussian mixture models. Basically, we study such models on a certain submanifold of probability densities with certain structure. Different aspects of this framework are discussed and several examples are presented to illustrate the results. This method represents our first attempt to study optimal transport problems for more general probability densities with structures.

研究动机与目标

• 开发一种计算高效的最优传输框架，专为广泛应用于统计推断与数据科学的高斯混合模型（GMMs）设计。
• 在插值与平均等传输操作中保持GMM结构，避免标准最优传输中常见的分量结构损失。
• 通过将传输限制在GMM密度的子流形上，降低计算复杂度，实现对具有聚类子群体的高维数据的可扩展应用。
• 基于Wasserstein度量提供一种几何框架，尊重GMM的内在结构，同时保持低计算成本。
• 证明当分量协方差较小时，所提方法能良好逼近标准最优传输距离，验证其实际可用性。

提出的方法

• 该框架将GMM视为具有高斯混合结构的概率密度子流形上的元素，通过最优传输将其嵌入Wasserstein空间。
• 通过离散化分量质量之间的传输，将最优传输问题表述为线性规划，其中变量表示高斯分量之间的质量流动。
• 利用Wasserstein-2度量在GMM空间上定义黎曼几何，实现保持在GMM类内的自然测地线插值。
• 传输映射被导出为凸势函数的梯度，确保唯一性与光滑性，耦合通过初始测度的前向推导构建。
• 该方法利用最优传输在GMM之间可简化为具有O(N)变量的有限维线性规划问题的事实，其中N为分量总数。
• 通过在给定权重下求解广义线性规划，将该框架扩展至计算多个GMM的重心，保持结果中的分量结构。

实验结果

研究问题

• RQ1 能否将最优传输有效限制在高斯混合模型的子流形上，以在传输操作中保持结构特性？
• RQ2 如何在保持几何保真度的同时降低GMM最优传输的计算成本？
• RQ3 所提方法在插值与重心计算中是否保持了高斯混合结构，而标准最优传输则不能？
• RQ4 当分量协方差较小时，所提距离与标准Wasserstein距离的逼近程度如何？
• RQ5 该框架能否以低计算复杂度实现GMM之间的距离、测地线与重心计算？

主要发现

• 所提最优传输框架在插值过程中保持了高斯混合结构，而标准最优传输会扭曲密度的分量特性。
• 该方法将GMM之间最优传输的计算复杂度降低为求解具有O(N)变量的线性规划问题，其中N为分量总数，实现了可扩展计算。
• 数值结果表明，所提距离始终不大于标准Wasserstein距离，且在分量协方差较小时两者趋于收敛。
• 在重心计算中，所提方法在所有权重下均保持了GMM结构，而标准最优传输则无法保持此结构。
• 该框架实现了GMM之间准确且高效的测地线插值，中间密度始终保持为有效的GMM，1D与2D示例已验证此结果。
• 该方法为具有内在聚类或子群体结构的数据提供了一种实用且结构感知的替代标准最优传输的方案。