[论文解读] Principal Geodesic Analysis for Probability Measures under the Optimal Transport Metric

Vivien Seguy, Marco Cuturi|arXiv (Cornell University)|Jun 26, 2015

Geometric Analysis and Curvature Flows参考文献 26被引用 33

一句话总结

本文提出了一种基于最优传输（Wasserstein）度量的可扩展主测地线分析方法，用于概率测度，通过Wasserstein空间中的测地线曲线实现降维。通过利用松弛测地线和正则化最优传输，该方法在大规模数据集上实现了高效计算，同时保持了可解释性，其有效性在图像形状、颜色直方图和MNIST数字上得到验证，所得到的组件具有地理上一致且有意义的特性。

ABSTRACT

Given a family of probability measures in P(X), the space of probability measures on a Hilbert space X, our goal in this paper is to highlight one ore more curves in P(X) that summarize efficiently that family. We propose to study this problem under the optimal transport (Wasserstein) geometry, using curves that are restricted to be geodesic segments under that metric. We show that concepts that play a key role in Euclidean PCA, such as data centering or orthogonality of principal directions, find a natural equivalent in the optimal transport geometry, using Wasserstein means and differential geometry. The implementation of these ideas is, however, computationally challenging. To achieve scalable algorithms that can handle thousands of measures, we propose to use a relaxed definition for geodesics and regularized optimal transport distances. The interest of our approach is demonstrated on images seen either as shapes or color histograms.

研究动机与目标

• 开发一种在Wasserstein空间中对概率测度实现可扩展且可解释的降维方法。
• 通过使用测地线曲线而非线性子空间，将主成分分析扩展至Wasserstein流形。
• 通过引入松弛和正则化公式，克服计算精确Wasserstein测地线的计算挑战。
• 提供一个几何框架，其中中心化、正交性和主成分等概念可通过Wasserstein均值和微分几何自然推广。
• 在真实世界数据（如图像形状、颜色直方图和MNIST数字）上展示该方法的实用性，确保所得组件保持在概率测度空间中且具有可解释性。

提出的方法

• 该方法使用Wasserstein均值作为数据中心，通过多边缘最优传输计算，以定义测地线分量的原点。
• 将主测地线表述为在Wasserstein空间中最小化到数据点距离平方和的曲线，并采用松弛测地线定义以确保计算可行性。
• 采用投影梯度下降算法优化主成分，通过正则化稳定解并改善收敛性。
• 该方法利用Wasserstein流形中的对数映射和指数映射，实现将数据转换到切空间，以进行类似标准PCA的优化。
• 对于大规模数据，该方法使用正则化最优传输距离和Wasserstein度量的近似，以降低计算成本。
• 最终通过指数映射重建测地线分量，确保其保持在概率测度空间中。

实验结果

研究问题

• RQ1 主测地线分析能否有效扩展至无限维Wasserstein流形，以处理概率测度？
• RQ2 如何在保持位于概率测度空间中的前提下，高效且可扩展地计算测地线分量？
• RQ3 Wasserstein均值和微分几何在自然推广PCA概念（如中心化和正交性）中起到何种作用？
• RQ4 松弛测地线公式和正则化最优传输如何在不牺牲可解释性的前提下提升可扩展性？
• RQ5 所得测地线分量在多大程度上捕捉了图像形状和颜色分布中的有意义且可解释的变化？

主要发现

• 所提出的方法成功计算出保持在概率测度空间内的主测地线，而传统PCA或主曲线方法会产生无效或非概率性分量。
• 在MNIST数据集上，数字0–9的前三条主测地线捕捉了如旋转、笔画粗细和环形结构等有意义的变化，其中数字2的环形结构被良好建模。
• 在Caltech-256的彩色直方图上，第一条主成分反映了光照变化（从暗到亮），第二和第三条主成分捕捉了主要颜色偏移（蓝色、红色、黄色）。
• 在标准iMac上，计算295张彩色图像的单个主成分耗时不足15分钟，证明了其可扩展性。
• 通过最优时间对齐和颜色迁移，实现了图像到测地线的投影，从而可视化了主成分路径上的中间状态。
• 与Wang等人（2013）的先前方法相比，该方法在可解释性和几何保真度方面表现更优，如附录所示。