[论文解读] Sampling as optimization in the space of measures: The Langevin dynamics as a composite optimization problem

Andre Wibisono|arXiv (Cornell University)|Feb 22, 2018

Statistical Mechanics and Entropy被引用 40

一句话总结

论文将采样视为测度空间中的优化，分析未经调整的 Langevin 算法（ULA）中的偏差，并提出对称 Langevin 算法（SLA）以降低偏差，对高斯目标具一致性结果并在某些条件下指数收敛。

ABSTRACT

We study sampling as optimization in the space of measures. We focus on gradient flow-based optimization with the Langevin dynamics as a case study. We investigate the source of the bias of the unadjusted Langevin algorithm (ULA) in discrete time, and consider how to remove or reduce the bias. We point out the difficulty is that the heat flow is exactly solvable, but neither its forward nor backward method is implementable in general, except for Gaussian data. We propose the symmetrized Langevin algorithm (SLA), which should have a smaller bias than ULA, at the price of implementing a proximal gradient step in space. We show SLA is in fact consistent for Gaussian target measure, whereas ULA is not. We also illustrate various algorithms explicitly for Gaussian target measure, including gradient descent, proximal gradient, and Forward-Backward, and show they are all consistent.

研究动机与目标

• 通过梯度流和相对熵（KL 散度）将采样作为测度空间中的优化动机。
• 研究离散时间中未经调整的 Langevin 算法（ULA）偏差的来源，并寻求偏差降低或去除。
• 开发并分析替代离散化（FB、SFFl、SLA），以实现一致性和更快收敛。
• 为高斯目标提供显式分析和示例，以说明一致性和收敛性质。

提出的方法

• 将采样框架为在测度空间中相对熵 H_nu(rho) 的最小化，并与 Wasserstein 距度的联系（JKO 方案）。
• 解释相对熵分解为负熵和期望的负对数密度两部分。
• 证明 ULA 对应前向流（FFl）离散化，并且对一般目标存在偏差。
• 提出前向-后向（FB）算法，以处理复合结构，对数据项使用前向，对熵项使用后向（热扩散）处理。
• 引入对称的前向流（SFFl）和对称 Langevin 算法（SLA），以实现更高阶的偏差降幅并在某些条件下实现一致性。
• 给出高斯目标（Ornstein-Uhlenbeck 过程）和高斯混合物的显式实现，并在强对数凹性下给出收敛结果。

实验结果

研究问题

• RQ1 在把 Langevin 动力学离散化到测度空间时，ULA 究竟导致偏差的原因是什么？
• RQ2 对相对熵等于熵项与数据项之和的复合优化问题的离散化，是否可以实现无偏或较低偏差（如 FB、SLA）？
• RQ3 在何种条件下这些离散化收敛到目标测度，收敛速度如何？
• RQ4 显式的高斯目标示例如何说明所提方法的一致性与收敛性质？

主要发现

• ULA 在一般情况下是有偏的；即使对于高斯目标，在固定步长下其偏差仍然存在。
• 该问题可被视为一种复合优化问题，在适当条件下，FB 或其对称变体可以实现一致性。
• SLA，即 ULA 与其伴随算子的组合（需近端步）在高斯情形如 OU 可获得更小的偏差和一致性。
• 显式分析表明 SLA 对 OU 过程和某些高斯混合物是一致的，在强对数凹下具有指数收敛。
• SLA 以额外的近端计算换取更低的偏差，当可实现后向步骤时，提供一个实用路径。
• 研究表明对称的更高阶离散化（SFFl/SLA）比标准 FFl/ULA 产生更高阶的偏差（阶数为 2）。