[论文解读] Smooth and Sparse Optimal Transport

Mathieu Blondel, Vivien Seguy+1 more|arXiv (Cornell University)|Oct 17, 2017

Sparse and Compressive Sensing Techniques参考文献 32被引用 37

一句话总结

该论文通过在原始和对偶最优传输公式中引入强凸项（具体为平方 $2$-范数和组套索正则化），提出了一种平滑且稀疏的最优传输框架。与产生稠密计划的熵正则化不同，该方法在保持可微性和通过Sinkhorn算法实现高效优化的同时，生成稀疏的运输计划，并且理论分析表明其近似误差可能低于熵正则化。

ABSTRACT

Entropic regularization is quickly emerging as a new standard in optimal transport (OT). It enables to cast the OT computation as a differentiable and unconstrained convex optimization problem, which can be efficiently solved using the Sinkhorn algorithm. However, entropy keeps the transportation plan strictly positive and therefore completely dense, unlike unregularized OT. This lack of sparsity can be problematic in applications where the transportation plan itself is of interest. In this paper, we explore regularizing the primal and dual OT formulations with a strongly convex term, which corresponds to relaxing the dual and primal constraints with smooth approximations. We show how to incorporate squared $2$-norm and group lasso regularizations within that framework, leading to sparse and group-sparse transportation plans. On the theoretical side, we bound the approximation error introduced by regularizing the primal and dual formulations. Our results suggest that, for the regularized primal, the approximation error can often be smaller with squared $2$-norm than with entropic regularization. We showcase our proposed framework on the task of color transfer.

研究动机与目标

• 为解决熵正则化最优传输中缺乏稀疏性的问题，后者会产生不适合在色彩迁移和域自适应等应用中解释的稠密运输计划。
• 开发一种平滑的优化框架，在保持可微性和收敛速度的同时，通过强凸正则化实现稀疏解。
• 理论上界定正则化引入的近似误差，表明平方 $2$-范数正则化在误差界方面可能优于熵正则化。
• 将框架推广至非可微正则化（如组套索），以在运输计划中实现结构化稀疏性。
• 提供对偶和半对偶公式，支持使用L-BFGS等高效求解器，相较于Dykstra算法可提升收敛速度。

提出的方法

• 对原始OT问题使用任意强凸函数 $\Omega$ 进行正则化，从而导出平滑的对偶和半对偶公式。
• 通过抽象正则化项为 $\delta_\Omega$ 和 $\text{max}_\Omega$ 函数，推导出对偶和半对偶表达式，实现灵活优化。
• 将平方 $2$-范数正则化 $\frac{1}{2\gamma}\|T\mathbf{1}_n - \mathbf{a}\|^2$ 纳入原始问题，对应于用平滑近似松弛 $\mathbf{a}$ 上的边缘约束。
• 使用平方欧氏距离松弛原始边缘约束，表明其等价于在对偶中添加平方 $2$-范数正则化。
• 应用组套索正则化以诱导组稀疏的运输计划，适用于需要结构化稀疏性的应用场景。
• 利用正则化问题的平滑性，采用L-BFGS等高效拟牛顿求解器，相比传统交替最小化方法显著提升收敛速度。

实验结果

研究问题

• RQ1 在原始和对偶OT公式中使用强凸正则化，是否能在保持平滑性和可微性的同时生成稀疏的运输计划？
• RQ2 与熵正则化相比，平方 $2$-范数正则化的近似误差在OT距离误差界方面如何？
• RQ3 该框架能否推广至非可微正则化（如组套索），以在运输计划中实现结构化稀疏性？
• RQ4 通过平滑近似（如平方欧氏距离）松弛原始边缘约束，是否能产生与直接正则化相当的稀疏计划？
• RQ5 所推导的对偶和半对偶公式是否能支持使用L-BFGS等现代求解器实现比Dykstra算法更快的收敛速度？

主要发现

• 所提出的平方 $2$-范数正则化OT公式可生成稀疏运输计划，在色彩迁移实验中观察到90%的稀疏度，与无正则化OT（94%）相当，而熵正则化则为0%稀疏度。
• 理论分析表明，使用平方 $2$-范数正则化的正则化原始问题的近似误差是可界定的，且在相同正则化参数 $\gamma$ 下，其误差可能小于熵正则化。
• 通过平方欧氏距离松弛原始边缘约束，其公式等价于在对偶中添加平方 $2$-范数正则化，实验中实现91%的稀疏度。
• 该框架支持非可微正则化（如组套索），可在运输计划中实现结构化稀疏性，而熵正则化无法实现。
• 所推导的对偶和半对偶公式支持使用高效拟牛顿求解器（如L-BFGS），在弱正则化问题上收敛速度显著快于Dykstra算法。
• 理论分析表明，平滑对偶和半对偶公式是适定且可微的，可作为可微损失函数集成于机器学习流水线中。