[论文解读] Reparameterization Gradient for Non-differentiable Models

Wonyeol Lee, Hangyeol Yu+1 more|arXiv (Cornell University)|Jan 1, 2018

Machine Learning and Algorithms被引用 4

一句话总结

本文提出了一种用于具有非可微密度函数的模型中随机变分推断的重参数化梯度估计器。通过将潜在空间划分为可微区域和不可微边界，该方法在光滑区域应用标准重参数化，在边界上采用流形采样，即使在密度函数不可微的情况下，也能实现低方差、无偏的梯度估计。

ABSTRACT

We present a new algorithm for stochastic variational inference that targets at models with non-differentiable densities. One of the key challenges in stochastic variational inference is to come up with a low-variance estimator of the gradient of a variational objective. We tackle the challenge by generalizing the reparameterization trick, one of the most effective techniques for addressing the variance issue for differentiable models, so that the trick works for non-differentiable models as well. Our algorithm splits the space of latent variables into regions where the density of the variables is differentiable, and their boundaries where the density may fail to be differentiable. For each differentiable region, the algorithm applies the standard reparameterization trick and estimates the gradient restricted to the region. For each potentially non-differentiable boundary, it uses a form of manifold sampling and computes the direction for variational parameters that, if followed, would increase the boundary’s contribution to the variational objective. The sum of all the estimates becomes the gradient estimate of our algorithm. Our estimator enjoys the reduced variance of the reparameterization gradient while remaining unbiased even for non-differentiable models. The experiments with our preliminary implementation confirm the benefit of reduced variance and unbiasedness.

研究动机与目标

• 解决在具有非可微密度函数的模型中，随机变分推断面临的高方差梯度估计挑战。
• 将适用于可微模型的重参数化技巧扩展至非可微模型，且不引入偏差。
• 在存在非可微密度函数的情况下，保持梯度估计的低方差特性，同时确保无偏性。
• 开发一种统一框架，结合可微区域的重参数化与不可微区域边界的感知采样。

提出的方法

• 将潜在空间划分为密度函数可微的区域和可微性可能失效的边界。
• 在每个可微区域内，应用标准重参数化技巧以计算低方差的梯度估计。
• 对于不可微边界，采用流形采样来估计变分目标函数的最速上升方向。
• 算法分别计算每个区域和边界的梯度贡献，然后将它们合并为单一的无偏梯度估计。
• 该方法确保整体梯度估计器保持无偏性，同时保留重参数化带来的低方差特性。

实验结果

研究问题

• RQ1 重参数化技巧能否被推广至非可微模型，同时保持低方差和无偏性？
• RQ2 如何在潜在空间的可微区域与不可微边界之间有效分解梯度估计？
• RQ3 在不可微边界上采用何种采样策略，可获得可靠且低方差的梯度估计？
• RQ4 所提出的方法在非可微设置下是否仍能保持重参数化带来的方差缩减优势？

主要发现

• 与基线方法相比，所提出的估计器在非可微模型中显著降低了方差。
• 即使在模型密度不可微的情况下，该估计器仍保持无偏性，而许多替代方法则不然。
• 初步实现的实验结果证实了该方法在降低梯度方差方面的有效性。
• 该方法通过结合区域特异性和边界特异性梯度估计，成功地将重参数化的优势扩展至非可微模型。