[论文解读] On the representation and learning of monotone triangular transport maps

Ricardo Baptista, Youssef Marzouk+1 more|arXiv (Cornell University)|Sep 22, 2020

Medical Imaging Techniques and Applications被引用 3

一句话总结

本文提出了一种通用框架，通过可逆变换对光滑函数进行处理，以表示和学习单调三角形传输映射，确保优化问题中不存在虚假局部极小值，并在目标分布的尾部条件较弱时证明Knothe–Rosenblatt映射是唯一的全局最小值解。该框架引入了一种自适应算法，用于从有限样本中对KR映射进行稀疏半参数逼近，从而在不同样本规模下均能实现稳定的表现，适用于密度估计、无似然推断和结构学习任务。

ABSTRACT

Transportation of measure provides a versatile approach for modeling complex probability distributions, with applications in density estimation, Bayesian inference, generative modeling, and beyond. Monotone triangular transport maps$\unicode{x2014}$approximations of the Knothe$\unicode{x2013}$Rosenblatt (KR) rearrangement$\unicode{x2014}$are a canonical choice for these tasks. Yet the representation and parameterization of such maps have a significant impact on their generality and expressiveness, and on properties of the optimization problem that arises in learning a map from data (e.g., via maximum likelihood estimation). We present a general framework for representing monotone triangular maps via invertible transformations of smooth functions. We establish conditions on the transformation such that the associated infinite-dimensional minimization problem has no spurious local minima, i.e., all local minima are global minima; and we show for target distributions satisfying certain tail conditions that the unique global minimizer corresponds to the KR map. Given a sample from the target, we then propose an adaptive algorithm that estimates a sparse semi-parametric approximation of the underlying KR map. We demonstrate how this framework can be applied to joint and conditional density estimation, likelihood-free inference, and structure learning of directed graphical models, with stable generalization performance across a range of sample sizes.

研究动机与目标

• 开发一种通用的单调三角形传输映射表示与学习框架，确保优化过程中的全局最优性。
• 建立理论条件，使得无限维优化问题在无虚假局部极小值的情况下成立。
• 证明在目标分布满足一定尾部条件时，优化问题的唯一全局最小值解对应于Knothe–Rosenblatt（KR）重排映射。
• 设计一种自适应算法，从有限样本中对KR映射进行稀疏半参数逼近。
• 展示该方法在联合密度估计与条件密度估计、无似然推断以及有向图模型结构学习中的有效性。

提出的方法

• 通过光滑函数的可逆变换表示单调三角形映射，确保单调性与可逆性。
• 建立变换的充分条件，以保证在无限维优化设置下，所有局部极小值均为全局极小值。
• 使用小波或多项式基函数对传输映射分量进行自适应、稀疏参数化。
• 采用贪婪多索引精化策略（ATM）自适应地丰富基函数，聚焦于信息量高的区域。
• 通过利用三角映射的条件独立性结构，将该框架应用于密度估计、条件采样和结构学习。
• 采用最大似然估计结合基于验证的超参数调优与早停策略，以确保泛化性能。

实验结果

研究问题

• RQ1 在何种变换条件下，学习单调三角形映射的无限维优化问题中不存在虚假局部极小值？
• RQ2 在何种条件下，优化问题的唯一全局最小值解对应于Knothe–Rosenblatt重排映射？
• RQ3 如何从有限的i.i.d.样本中自适应地学习KR映射的稀疏半参数逼近？
• RQ4 所提出的框架是否能在不同样本规模下实现密度估计与推断任务中的稳定泛化性能？
• RQ5 该方法在有向图模型的条件密度估计与结构学习中的适用范围有多大？

主要发现

• 在变换的温和条件下，所提出的框架可确保无限维优化问题中的所有局部极小值均为全局极小值。
• 当目标分布满足特定尾部条件时，优化问题的唯一全局最小值解即为Knothe–Rosenblatt映射。
• 自适应算法在不同样本规模下均实现了联合与条件密度估计任务中的稳定泛化性能。
• 该方法通过从观测数据中学习传输映射，即使样本有限，也能实现有效的无似然推断。
• 该框架通过利用三角映射中固有的条件独立性结构，支持有向图模型的结构学习。
• 结合多索引精化的小波或多项式基函数，可实现高表达力与计算效率兼具的稀疏自适应映射逼近。