[论文解读] Subspace Detours: Building Transport Plans that are Optimal on Subspace Projections

Boris Muzellec, Marco Cuturi|arXiv (Cornell University)|May 24, 2019

Natural Language Processing Techniques被引用 12

一句话总结

本文提出了子空间绕行传输计划（subspace-detour transport plans），其在低维子空间上的投影下是最优的，从而能够从低维解构造出全维的最优传输映射。提出了两种方法——Monge-Independent (MI) 和 Monge-Knothe (MK)，对高斯测度给出了闭式解，表明在领域自适应任务中，MK 映射在投影子空间上的表现优于标准 Bures 距离。

ABSTRACT

Computing optimal transport (OT) between measures in high dimensions is doomed by the curse of dimensionality. A popular approach to avoid this curse is to project input measures on lower-dimensional subspaces (1D lines in the case of sliced Wasserstein distances), solve the OT problem between these reduced measures, and settle for the Wasserstein distance between these reductions, rather than that between the original measures. This approach is however difficult to extend to the case in which one wants to compute an OT map (a Monge map) between the original measures. Since computations are carried out on lower-dimensional projections, classical map estimation techniques can only produce maps operating in these reduced dimensions. We propose in this work two methods to extrapolate, from an transport map that is optimal on a subspace, one that is nearly optimal in the entire space. We prove that the best optimal transport plan that takes such "subspace detours" is a generalization of the Knothe-Rosenblatt transport. We show that these plans can be explicitly formulated when comparing Gaussian measures (between which the Wasserstein distance is commonly referred to as the Bures or Fréchet distance). We provide an algorithm to select optimal subspaces given pairs of Gaussian measures, and study scenarios in which that mediating subspace can be selected using prior information. We consider applications to semantic mediation between elliptic word embeddings and domain adaptation with Gaussian mixture models.

研究动机与目标

• 解决在高维空间中计算最优传输映射的挑战，因为标准 OT 存在计算不可行性和不稳定性问题。
• 克服现有子空间 OT 方法的局限性，即仅能生成降维后的映射，通过构建在投影下仍保持最优的全空间映射。
• 开发一种学习传输映射的框架，使其在指定子空间上最优，同时在原始高维空间中保持有效性和结构。
• 通过利用子空间优化的传输映射，实现在领域自适应和语义调制中的实际应用，提升泛化能力和鲁棒性。
• 提出一种系统性方法，通过最小化投影测度之间的传输成本，自动选择具有信息量的子空间。

提出的方法

• 定义一类在投影到子空间 $E$ 时为最优的传输计划，称为‘子空间最优’或‘绕行’计划。
• 引入两种极值构造：Monge-Independent (MI) 计划，假设在给定子空间下条件独立；以及 Monge-Knothe (MK) 映射，使用条件分布的最优耦合。
• 推导出高斯测度之间 MK 和 MI 映射的闭式表达式，表明 MK 映射对应于块三角形线性变换。
• 提出一种算法，通过最小化投影测度之间的传输成本，选择最优子空间 $E$，使用经验协方差矩阵。
• 将 MK 映射应用于领域自适应，通过将源分布和目标分布建模为高斯混合模型（GMM），在 $E$ 上计算成对 MK 距离，并使用重心投影实现标签迁移。
• 利用弱收敛和测度分解，形式化子空间最优计划的结构，通过在 $E$ 上的分解刻画其自由度。

实验结果

研究问题

• RQ1 我们能否构建全维最优传输映射，使其在投影到低维子空间时仍保持最优？
• RQ2 Monge-Independent (MI) 和 Monge-Knothe (MK) 映射在结构特性上如何不同，影响其从子空间投影中泛化的能力？
• RQ3 在子空间投影约束下，高斯测度之间最优传输映射的闭式表达式是什么？
• RQ4 如何自动选择一个中介子空间 $E$，使其最小化传输成本，同时保留有意义的几何结构？
• RQ5 与标准 OT 或切片 OT 相比，子空间最优传输映射是否能在下游任务（如领域自适应和词嵌入调制）中提升性能？

主要发现

• Monge-Knothe (MK) 映射为在子空间上投影的高斯测度之间的最优传输提供了闭式解，表示为具有块三角矩阵结构的线性映射。
• 对于高斯测度，MK 映射等价于 Knothe-Rosenblatt 映射，将其推广至子空间优化传输的情形。
• 在 Office Home 数据集上的领域自适应实验中，通过所提算法选择的 MK 映射在投影子空间上的 1-NN 准确率与标准 Bures 映射相当或更优，即使在降维后也表现良好。
• MK 映射的性能对子空间选择极为敏感——仅当通过最小化算法选择 $E$ 时才能获得最优结果，而非任意子空间。
• 在合成数据上，MK 映射成功实现了多义词嵌入之间的有意义语义调制，通过共享子空间对语义上不同但几何上相似的嵌入进行对齐。
• 该方法表明，并非所有高维特征对传输成本的贡献均等，聚焦于少数信息丰富的子空间可同时提升下游任务的稳定性和性能。