[论文解读] Stein's Lemma for the Reparameterization Trick with Exponential Family Mixtures

Lin Wu, Mohammad Emtiyaz Khan+1 more|arXiv (Cornell University)|Oct 29, 2019

Analytic Number Theory Research参考文献 21被引用 8

一句话总结

本文将 Stein's 引理推广至指数族混合分布，包括具有完整协方差的高斯混合，从而在弱光滑性假设下建立了一套统一的重参数化梯度估计框架。它建立了 Stein's 引理与重参数化技巧之间的直接联系，推导出适用于多元 t 分布、偏斜高斯分布和正态逆高斯分布等分布的新梯度恒等式，突破了先前工作中存在的局限性。

ABSTRACT

Stein's method (Stein, 1973; 1981) is a powerful tool for statistical applications and has significantly impacted machine learning. Stein's lemma plays an essential role in Stein's method. Previous applications of Stein's lemma either required strong technical assumptions or were limited to Gaussian distributions with restricted covariance structures. In this work, we extend Stein's lemma to exponential-family mixture distributions, including Gaussian distributions with full covariance structures. Our generalization enables us to establish a connection between Stein's lemma and the reparameterization trick to derive gradients of expectations of a large class of functions under weak assumptions. Using this connection, we can derive many new reparameterizable gradient identities that go beyond the reach of existing works. For example, we give gradient identities when the expectation is taken with respect to Student's t-distribution, skew Gaussian, exponentially modified Gaussian, and normal inverse Gaussian.

研究动机与目标

• 在弱光滑性条件下，将 Stein's 引理推广至指数族混合分布，包括具有完整协方差的高斯混合。
• 建立 Stein's 引理与重参数化技巧之间在梯度估计中的正式联系。
• 利用该框架推导出如多元 t 分布、偏斜高斯分布和正态逆高斯分布等复杂分布的新梯度恒等式。
• 为隐式重参数化提供理论基础，放宽了先前工作中所依赖的假设。
• 通过使用高斯方差-均值混合近似，实现更鲁棒和灵活的变分推断。

提出的方法

• 引入局部绝对连续（locally AC）函数作为光滑性条件，将 Stein's 引理的适用范围从高斯分布推广至更广泛的分布。
• 通过分部积分和微积分基本定理，对局部 AC 函数推导出一阶恒等式。
• 将该恒等式应用于指数族的层次混合结构，特别是具有任意协方差结构的高斯混合。
• 通过 Stein's 引理建立期望梯度与得分函数之间的联系，从而实现隐式重参数化。
• 利用该恒等式推导出在非高斯分布（如学生 t 分布和偏斜高斯分布）下期望的闭式梯度表达式。
• 通过理论推导和实例验证该框架，表明其在变分推断中的适用性。

实验结果

研究问题

• RQ1 在弱光滑性假设下，能否将 Stein's 引理推广至指数族混合分布，包括具有完整协方差的高斯混合？
• RQ2 如何将 Stein's 引理与重参数化技巧联系起来，以实现对复杂分布的梯度估计？
• RQ3 利用该推广框架，能否为非高斯、重尾或偏斜分布推导出新的梯度恒等式？
• RQ4 与先前工作相比，该方法能否在更弱的假设下为隐式重参数化技巧提供理论依据？
• RQ5 该框架对使用高斯方差-均值混合近似进行变分推断有何影响？

主要发现

• 本文成功地在弱光滑性条件下，将 Stein's 引理推广至指数族混合分布，包括具有完整协方差的高斯混合。
• 建立了 Stein's 引理与重参数化技巧之间的直接理论联系，使该方法能够对一大类函数实现梯度估计。
• 推导出多元 t 分布、偏斜高斯分布、指数修改高斯分布和正态逆高斯分布的新梯度恒等式。
• 该框架允许在弱于先前工作（如 Salimans & Knowles, 2013 和 Figurnov et al., 2018）的假设下实现隐式重参数化。
• 所推导的恒等式在 Lin et al. (2019) 的研究中被证明在使用高斯方差-均值混合近似进行变分推断时具有实用性。
• 该方法为跨多样化指数族混合分布的梯度估计提供了一套统一且理论严谨的途径。