[论文解读] Projection Robust Wasserstein Distance and Riemannian Optimization

Tianyi Lin, Chenyou Fan+3 more|arXiv (Cornell University)|Jun 12, 2020

Geometric Analysis and Curvature Flows参考文献 83被引用 5

一句话总结

本文提出了一种黎曼优化框架，以高效计算投影鲁棒Wasserstein（PRW）距离，克服了其因非凸性和非光滑性而导致的先前不可行性。尽管在极小化极大意义下存在困难结果，作者证明了PRW在实践中可被高效计算，且在合成数据和真实世界数据（包括MNIST和Shakespeare文本语料）上，其鲁棒性和样本复杂度优于凸松弛方法（如SRW）。

ABSTRACT

Projection robust Wasserstein (PRW) distance, or Wasserstein projection pursuit (WPP), is a robust variant of the Wasserstein distance. Recent work suggests that this quantity is more robust than the standard Wasserstein distance, in particular when comparing probability measures in high-dimensions. However, it is ruled out for practical application because the optimization model is essentially non-convex and non-smooth which makes the computation intractable. Our contribution in this paper is to revisit the original motivation behind WPP/PRW, but take the hard route of showing that, despite its non-convexity and lack of nonsmoothness, and even despite some hardness results proved by~\citet{Niles-2019-Estimation} in a minimax sense, the original formulation for PRW/WPP extit{can} be efficiently computed in practice using Riemannian optimization, yielding in relevant cases better behavior than its convex relaxation. More specifically, we provide three simple algorithms with solid theoretical guarantee on their complexity bound (one in the appendix), and demonstrate their effectiveness and efficiency by conducing extensive experiments on synthetic and real data. This paper provides a first step into a computational theory of the PRW distance and provides the links between optimal transport and Riemannian optimization.

研究动机与目标

• 为解决投影鲁棒Wasserstein（PRW）距离的计算不可行性问题，该距离虽具有优越的统计特性，但其本身是非凸且非光滑的。
• 证明尽管存在非凸性和非光滑性，PRW仍可通过黎曼优化在实践中被高效计算，从而反驳先前关于其不可行性的观点。
• 为离散设置中的PRW计算提供理论收敛保证和实用算法。
• 通过实证验证，PRW在高方差噪声下相比SRW等凸松弛方法展现出更优的鲁棒性和样本复杂度。
• 建立PRW的计算理论，并弥合最优传输与黎曼优化之间的鸿沟。

提出的方法

• 将PRW距离表述为在正交k重帧的Stiefel流形上的非凸、非光滑优化问题。
• 在Stiefel流形上应用黎曼优化技术——特别是黎曼共轭梯度法和信赖域方法——以解决子空间选择问题。
• 在PRW公式中引入熵正则化，以提升数值稳定性和收敛性。
• 设计三种具有理论复杂度界（包括附录中的一类）的算法，确保收敛至近似全局最优解。
• 利用黎曼几何来利用优化域的流形结构，实现高效且稳定的更新。
• 结合黎曼优化与熵正则化，以在计算效率与统计鲁棒性之间取得平衡。

实验结果

研究问题

• RQ1 尽管具有非凸性和非光滑性，PRW距离是否可在实践中被高效计算？
• RQ2 黎曼优化是否为PRW计算提供了一种可行且可扩展的替代方案，优于SRW等凸松弛方法？
• RQ3 在高方差噪声下，PRW与SRW及标准Wasserstein距离相比，在鲁棒性方面表现如何？
• RQ4 PRW在真实世界数据集（如MNIST和Shakespeare文本语料）上的实证性能如何？
• RQ5 所提出的黎曼优化框架是否能在离散设置中为PRW实现理论收敛保证？

主要发现

• 在八部Shakespeare戏剧的语料中，PRW距离始终小于SRW距离，表明其与人类对文本相似性的直觉更吻合。
• 在MNIST数字分类任务中，PRW距离更符合人类对数字相似性的感知，最小距离能正确识别出视觉上相似的数字对（如D1与D7，或D4与D9）。
• 在温和的分布条件下，理论结果（Niles-Weed和Rigollet，2019；Lin等，2021）表明，PRW在样本复杂度方面优于SRW。
• 实验表明，当噪声具有中等到高方差时，PRW在高维设置下比SRW和标准Wasserstein距离更具鲁棒性。
• 所提出的黎曼优化算法收敛稳定，且在计算效率和解的质量方面优于基于Frank-Wolfe的方法。
• 测量的最优2D投影（例如在‘Dunkirk’与‘Interstellar’之间）揭示了有意义的语义结构，共同词汇以品红色高亮显示，证实了PRW的可解释性。