[论文解读] Projection Robust Wasserstein Barycenters

Minhui Huang, Shiqian Ma+1 more|arXiv (Cornell University)|Feb 5, 2021

Anomaly Detection Techniques and Applications被引用 2

一句话总结

本文提出投影鲁棒Wasserstein中位数（PRWB）以缓解Wasserstein中位数计算中的维度灾难问题。通过将概率测度投影到最大化中位数目标的低维子空间上，松弛型PRWB（RPRWB）模型通过在Stiefel流形上的极大极小问题实现高效计算，从而在真实文本数据集上提升了聚类性能。

ABSTRACT

Collecting and aggregating information from several probability measures or histograms is a fundamental task in machine learning. One of the popular solution methods for this task is to compute the barycenter of the probability measures under the Wasserstein metric. However, approximating the Wasserstein barycenter is numerically challenging because of the curse of dimensionality. This paper proposes the projection robust Wasserstein barycenter (PRWB) that has the potential to mitigate the curse of dimensionality. Since PRWB is numerically very challenging to solve, we further propose a relaxed PRWB (RPRWB) model, which is more tractable. The RPRWB projects the probability measures onto a lower-dimensional subspace that maximizes the Wasserstein barycenter objective. The resulting problem is a max-min problem over the Stiefel manifold. By combining the iterative Bregman projection algorithm and Riemannian optimization, we propose two new algorithms for computing the RPRWB. The complexity of arithmetic operations of the proposed algorithms for obtaining an $\epsilon$-stationary solution is analyzed. We incorporate the RPRWB into a discrete distribution clustering algorithm, and the numerical results on real text datasets confirm that our RPRWB model helps improve the clustering performance significantly.

研究动机与目标

• 解决由于维度灾难导致的在高维空间中计算Wasserstein中位数的数值挑战。
• 开发一种计算量更小的投影鲁棒Wasserstein中位数（PRWB）的可处理替代方案。
• 提出一种松弛型PRWB（RPRWB）模型，通过在低维子空间上优化以保持中位数质量。
• 设计结合迭代Bregman投影与黎曼优化技术的高效算法，用于求解RPRWB问题。

提出的方法

• 将RPRWB建模为在Stiefel流形上的极大极小优化问题，其中投影子空间被优化以最大化中位数目标。
• 使用迭代Bregman投影处理投影空间中的Wasserstein中位数计算。
• 应用黎曼优化技术在Stiefel流形上求解子空间选择部分。
• 将两部分整合为两种新颖算法，用于计算RPRWB并具备收敛性保证。
• 分析所提算法的算术复杂度，以实现ϵ-驻定解。
• 将RPRWB集成到离散分布聚类框架中，以在真实文本数据集上评估性能。

实验结果

研究问题

• RQ1 投影鲁棒公式能否降低高维空间中Wasserstein中位数计算的计算负担？
• RQ2 在真实世界数据上，RPRWB模型与标准Wasserstein中位数在聚类准确率方面有何比较？
• RQ3 求解RPRWB问题以达到ϵ-驻定解的计算复杂度是多少？
• RQ4 RPRWB模型能否在降低维度的同时保持或提升中位数质量？

主要发现

• 与标准Wasserstein中位数方法相比，RPRWB模型在真实文本数据集上的聚类性能显著提升。
• 所提算法能够以可分析的算术复杂度实现ϵ-驻定解，使该方法具备可扩展性。
• RPRWB中的松弛处理实现了可处理的公式化，平衡了计算效率与中位数质量。
• 将RPRWB集成到聚类算法中，显著提升了聚类准确率。