[论文解读] The Power Spherical distribution

Nicola De Cao, Wilker Aziz|arXiv (Cornell University)|Jun 8, 2020

Gaussian Processes and Bayesian Inference参考文献 29被引用 17

一句话总结

该论文提出Power Spherical分布，作为高维球面上数据的数值稳定且可重参数化的von Mises-Fisher（vMF）分布的替代方案。通过设计具有解析逆累积分布函数（CDF）的单变量边缘分布，实现了快速、无拒绝采样，以及精确的梯度计算，在采样速度和稳定性方面优于vMF，同时在变分自编码器中保持了相当的性能。

ABSTRACT

There is a growing interest in probabilistic models defined in hyper-spherical spaces, be it to accommodate observed data or latent structure. The von Mises-Fisher (vMF) distribution, often regarded as the Normal distribution on the hyper-sphere, is a standard modeling choice: it is an exponential family and thus enjoys important statistical results, for example, known Kullback-Leibler (KL) divergence from other vMF distributions. Sampling from a vMF distribution, however, requires a rejection sampling procedure which besides being slow poses difficulties in the context of stochastic backpropagation via the reparameterization trick. Moreover, this procedure is numerically unstable for certain vMFs, e.g., those with high concentration and/or in high dimensions. We propose a novel distribution, the Power Spherical distribution, which retains some of the important aspects of the vMF (e.g., support on the hyper-sphere, symmetry about its mean direction parameter, known KL from other vMF distributions) while addressing its main drawbacks (i.e., scalability and numerical stability). We demonstrate the stability of Power Spherical distributions with a numerical experiment and further apply it to a variational auto-encoder trained on MNIST. Code at: https://github.com/nicola-decao/power_spherical

研究动机与目标

• 解决在高维或高浓度设置下von Mises-Fisher（vMF）分布存在的数值不稳定性和采样低效问题。
• 通过消除高方差校正项的需求，实现用于随机反向传播的精确重参数化。
• 设计一种支持高效、稳定采样且不依赖拒绝采样的超球面分布。
• 通过支持可微采样和梯度计算，确保与深度学习框架的兼容性。
• 通过在MNIST数据集的变分自编码器中用其替代vMF，证明其实际应用价值，实现更快的训练速度且性能相当。

提出的方法

• 利用超球面向量的切线-法向分解，将分布分解为径向分量（t）和切向分量（v），将问题简化为对t的边缘分布建模。
• 通过t的边缘密度的幂律形式定义Power Spherical分布，确保其累积分布函数（CDF）具有解析逆函数。
• 通过将解析可逆的边缘分布与切空间上的均匀分布相结合，构建完整的超球面分布。
• 通过直接从逆CDF采样t实现重参数化，从而在无需校正项的情况下实现反向传播。
• 推导出关键统计特性的闭式表达式，包括均值、众数、方差、熵，以及与vMF和均匀分布的KL散度。
• 通过在变分自编码器设置下的数值实验，验证方法在采样稳定性和性能基准测试中的有效性。

实验结果

研究问题

• RQ1 能否设计一种超球面分布，实现无需拒绝采样的快速、稳定且可重参数化的采样？
• RQ2 在超球面上具有解析可逆CDF的分布是否具备足够的表达能力以支持深度生成建模？
• RQ3 在高浓度和高维设置下，该分布与vMF相比在数值稳定性方面表现如何？
• RQ4 Power Spherical分布能否在变分自编码器中作为vMF的直接替代品使用而不会导致性能下降？
• RQ5 该新采样方法对深度学习模型的训练速度和梯度质量有何影响？

主要发现

• Power Spherical分布的采样速度比vMF至少快6倍，高浓度情况下甚至快20倍，且采样时间与浓度参数无关。
• Power Spherical分布在高维空间（如d=64）和高浓度参数下均表现出数值稳定性，而vMF则存在数值不稳定问题。
• Power Spherical分布的采样无需拒绝采样，从而实现了精确的重参数化，无需高方差校正项。
• 在MNIST数据集的变分自编码器中，Power Spherical在所有潜在维度（d=5至d=40）下均实现了与vMF相当的对数似然和ELBO得分。
• 尽管性能相当，但使用Power Spherical的训练速度比vMF快超过2倍，证明了其计算效率的提升。
• 结果证实，Power Spherical是深度生成模型在超球面潜在空间中vMF的可行、可扩展且稳定的替代方案。