[论文解读] Reversible Gromov-Monge Sampler for Simulation-Based Inference

YoonHaeng Hur, Wenxuan Guo+1 more|arXiv (Cornell University)|Sep 28, 2021

Statistical Methods and Inference参考文献 74被引用 4

一句话总结

本文提出了一种新型基于模拟的推断方法——可逆Gromov-Monge（RGM）采样器，该方法使用一种新型距离度量RGM，无需显式密度建模即可对齐异质度量测度空间。通过最小化一种可逆传输成本，该方法通过神经映射将源分布与目标分布关联起来，实现最优对齐并生成高质量样本。在温和条件下，RGM距离可紧密逼近经典的Gromov-Wasserstein距离，并在MNIST和合成数据上表现出色。

ABSTRACT

This paper introduces a new simulation-based inference procedure to model and sample from multi-dimensional probability distributions given access to i.i.d.\ samples, circumventing the usual approaches of explicitly modeling the density function or designing Markov chain Monte Carlo. Motivated by the seminal work on distance and isomorphism between metric measure spaces, we propose a new notion called the Reversible Gromov-Monge (RGM) distance and study how RGM can be used to design new transform samplers to perform simulation-based inference. Our RGM sampler can also estimate optimal alignments between two heterogeneous metric measure spaces $(\cX, μ, c_{\cX})$ and $(\cY, ν, c_{\cY})$ from empirical data sets, with estimated maps that approximately push forward one measure $μ$ to the other $ν$, and vice versa. We study the analytic properties of the RGM distance and derive that under mild conditions, RGM equals the classic Gromov-Wasserstein distance. Curiously, drawing a connection to Brenier's polar factorization, we show that the RGM sampler induces bias towards strong isomorphism with proper choices of $c_{\cX}$ and $c_{\cY}$. Statistical rate of convergence, representation, and optimization questions regarding the induced sampler are studied. Synthetic and real-world examples showcasing the effectiveness of the RGM sampler are also demonstrated.

研究动机与目标

• 解决传统MCMC和基于密度的方法在多维基于模拟推断中的局限性。
• 克服变换采样中的过度识别问题，即存在无穷多映射可将一个测度前推至另一个测度。
• 提出一种新型距离度量——可逆Gromov-Monge（RGM）——以实现在异质度量测度空间之间的最优对齐。
• 提供一种原则性、可微分的框架，用于学习诱导强同构性并最小化传输成本的传输映射。
• 建立RGM与经典Gromov-Wasserstein距离之间的理论与实证联系。

提出的方法

• 提出可逆Gromov-Monge（RGM）距离，作为两个度量测度空间 $(\mathcal{X},\mu,c_{\mathcal{X}})$ 和 $(\mathcal{Y},\nu,c_{\mathcal{Y}})$ 之间对齐程度的对称、可微度量。
• 将RGM优化问题定义为最小化联合代价函数 $C(F,B) = C_0(F,B) + \sum_{k=1}^3 \lambda_k m_k$，其中 $C_0$ 衡量成对距离的偏差，$m_k$ 通过MMD强制实现分布一致性。
• 使用全连接神经网络 $F: \mathbb{R}^{784} \to \mathbb{R}^{784}$ 和 $B: \mathbb{R}^{784} \to \mathbb{R}^4$ 参数化传输映射，通过固定超参数的随机优化进行训练。
• 利用从i.i.d.样本获得的经验测度 $\widehat{\mu}_m$ 和 $\widehat{\nu}_n$ 来估计RGM距离并优化映射。
• 推导出与Brenier极分解的理论联系，并表明在合适的度量选择下，RGM倾向于实现同构性并最小化传输成本。
• 使用Gromov-Wasserstein下界（FLB和SLB）估计RGM与GW距离之间的差距，验证RGM的一致性。

实验结果

研究问题

• RQ1 能否定义一种新型对称距离度量，以实现在无需显式密度建模的前提下，对齐异质度量测度空间？
• RQ2 在温和正则性条件下，RGM距离与经典Gromov-Wasserstein距离之间有何关系？
• RQ3 RGM框架能否诱导出在成本上最优且结构简单的传输映射，满足对同构性的归纳偏差？
• RQ4 在有限样本设置下，RGM采样器的统计收敛速率和优化稳定性如何？
• RQ5 与基线方法相比，RGM采样器在真实世界数据（如MNIST）上生成真实样本的能力如何？

主要发现

• 在温和条件下，RGM距离等于Gromov-Wasserstein距离，为该距离在对齐中的应用提供了理论基础。
• RGM采样器在MNIST数据集上实现约0.719的平方距离，实证估计表明 $\mathrm{RGM}^2(\mu,\nu) \approx 0.719$。
• Gromov-Wasserstein距离的下界（SLB）估计为0.148，意味着RGM距离最多为GW距离的2.204倍，表明对齐效果极强。
• 该方法在合成数据和真实世界数据上均表现出有效的样本生成能力，MMD损失低于 $1.5 \times 10^{-3}$，表明分布保真度极高。
• 当 $c_{\mathcal{X}}$ 和 $c_{\mathcal{Y}}$ 选择得当时，RGM框架会倾向于强同构性，与Brenier最优传输理论一致。
• 优化过程收敛稳定，RGM目标函数在经验估计下达到0.719的值，支持其实际可行性。