[论文解读] Probability Functional Descent: A Unifying Perspective on GANs, Variational Inference, and Reinforcement Learning

Casey Chu, José Blanchet+1 more|arXiv (Cornell University)|Jan 30, 2019

Adversarial Robustness in Machine Learning被引用 8

一句话总结

本文提出了概率函数下降法（PFD），这是一种统一框架，将生成对抗网络（GANs）、变分推断和演员-评论家强化学习表述为在概率测度空间上最小化泛函的问题。通过利用泛函导数和凸对偶性，PFD将现有方法作为特例恢复，并提供了一个基于影响函数和Fenchel–Moreau对偶性的共同优化机制。

ABSTRACT

This paper provides a unifying view of a wide range of problems of interest in machine learning by framing them as the minimization of functionals defined on the space of probability measures. In particular, we show that generative adversarial networks, variational inference, and actor-critic methods in reinforcement learning can all be seen through the lens of our framework. We then discuss a generic optimization algorithm for our formulation, called probability functional descent (PFD), and show how this algorithm recovers existing methods developed independently in the settings mentioned earlier.

研究动机与目标

• 将生成对抗网络（GANs）、变分推断与演员-评论家强化学习等不同机器学习问题统一于一个基于在概率测度空间上最小化泛函的数学框架下。
• 通过泛函分析，特别是影响函数与弱导数的概念，为这些方法建立理论基础。
• 推导出一种通用优化算法——概率函数下降法（PFD），以泛化三个领域中的现有算法。
• 证明在测度空间中，一个泛函在某测度处的影响函数对应于该泛函的梯度，从而实现基于梯度的优化。
• 展示凸共轭对偶性（通过Fenchel–Moreau定理）可恢复GAN与变分推断中的已知损失函数与更新规则。

提出的方法

• 将机器学习问题表述为在紧致空间 $ X $ 上的概率测度空间 $ \mathcal{P}(X) $ 上最小化泛函 $ J: \mathcal{P}(X) \to \mathbb{R} $。
• 将泛函 $ J $ 在测度 $ \mu $ 处的影响函数 $ \Psi $ 定义为满足 $ \frac{d}{d\epsilon}J(\mu + \epsilon\chi)\big|_{\epsilon=0} = \int_X \Psi(x) \, \chi(dx) $ 的泛函导数，从而在测度空间中实现方向导数。
• 应用Fenchel–Moreau定理，将 $ J(\mu) $ 表示为连续函数 $ \varphi \in \mathcal{C}(X) $ 上的上确界，得到 $ J(\mu) = \sup_{\varphi} \left[ \int_X \varphi \, d\mu - J^\star(\varphi) \right] $，其中 $ J^\star $ 为凸共轭。
• 将 $ J $ 在 $ \mu $ 处的梯度表征为影响函数 $ \Psi_\mu $，并证明其为共轭对偶问题的最优解。
• 提出概率函数下降法（PFD）作为通用算法，通过沿影响函数方向在测度空间中进行下降，结合弱收敛与对偶性实现更新。
• 恢复已知算法：对于GAN，JS散度导出涉及 $ \log(1 + e^{2\varphi}) $ 的对偶形式；对于变分推断，KL散度通过共轭对偶性被恢复；对于强化学习，演员-评论家更新被证明为PFD的特例。

实验结果

研究问题

• RQ1 GAN、变分推断与演员-评论家强化学习能否统一于单一的泛函优化框架下？
• RQ2 定义在概率测度空间上的泛函的泛函导数（即影响函数）是什么？它如何实现优化？
• RQ3 凸共轭对偶性（Fenchel–Moreau）与GAN及变分推断中的对偶性有何关联？
• RQ4 能否通过单一通用算法——概率函数下降法（PFD）——恢复这三个领域中的现有方法？
• RQ5 在何种条件下，影响函数可对应于测度空间中定义良好的梯度？

主要发现

• 泛函 $ J $ 在测度 $ \mu $ 处的影响函数 $ \Psi_\mu $ 被表征为 $ J $ 沿测度空间扰动的弱导数，满足 $ \frac{d}{d\epsilon}J(\mu + \epsilon\chi)\big|_{\epsilon=0} = \int_X \Psi_\mu \, d\chi $。
• 对于Jensen-Shannon散度，影响函数为 $ \frac{1}{2} \left( \log \frac{p}{p+q} + \log 2 \right) $，该结果恢复了GAN判别器的更新规则。
• JS散度泛函的凸共轭为 $ J_{\mathrm{JS}}^\star(\varphi) = -\frac{1}{2} \int_X q \log(1 - 2e^{2\varphi}) \, dx - \frac{1}{2} \log 2 $，表明其与生成器目标的对偶关系。
• 对于负采样（NS）损失，影响函数为 $ \log \frac{p}{q} $，对应标准对比学习的更新规则。
• 在适当的正则性条件下，Fenchel–Moreau定理确保使对偶表示最大化的函数 $ \varphi^* $ 即为 $ J $ 的梯度。
• 概率函数下降法（PFD）将强化学习中的演员-评论家更新作为测度空间下降的特例恢复，其中策略通过优势函数作为影响函数进行更新。