[论文解读] Sliced Kernelized Stein Discrepancy

Wenbo Gong, Yingzhen Li+1 more|arXiv (Cornell University)|Jun 30, 2020

Mathematical Approximation and Integration参考文献 48被引用 14

一句话总结

该论文提出了一种切片核化Stein差异（SSD）及其可扩展变体maxSKSD，通过将高维得分函数和检验函数投影到一维随机方向上来缓解核化Stein差异（KSD）中的维度灾难问题。该方法在高维场景下显著提升了拟合优度检验和模型学习的性能，其中新型粒子推断算法S-SVGD在变分自编码器和贝叶斯神经网络中通过减少模式坍塌现象，优于标准SVGD。

ABSTRACT

Kernelized Stein discrepancy (KSD), though being extensively used in goodness-of-fit tests and model learning, suffers from the curse-of-dimensionality. We address this issue by proposing the sliced Stein discrepancy and its scalable and kernelized variants, which employ kernel-based test functions defined on the optimal one-dimensional projections. When applied to goodness-of-fit tests, extensive experiments show the proposed discrepancy significantly outperforms KSD and various baselines in high dimensions. For model learning, we show its advantages over existing Stein discrepancy baselines by training independent component analysis models with different discrepancies. We further propose a novel particle inference method called sliced Stein variational gradient descent (S-SVGD) which alleviates the mode-collapse issue of SVGD in training variational autoencoders.

研究动机与目标

• 为解决影响核化Stein差异（KSD）的维度灾难问题，该问题在高维拟合优度检验和粒子推断中会降低性能。
• 开发一种可扩展且理论基础坚实的差异度量，通过利用一维投影在高维空间中保持统计效能。
• 通过用新型粒子推断算法——切片Stein变分梯度下降（S-SVGD）替代标准SVGD，改进模型学习和变分推断。
• 在基准问题、独立分量分析和变分自编码器上验证该方法，证明其在收敛性方面表现更优且模式坍塌现象更少。

提出的方法

• 通过将得分函数和检验函数投影到随机的一维方向上来提出切片Stein差异（SSD），将问题简化为一维优化。
• 提出maxSKSD作为可扩展的变体，通过选择最大化差异度的最优切片方向，并利用核技巧实现高效计算。
• 推导出maxSKSD的无偏估计量，使用最优检验方向以应用于拟合优度检验。
• 开发了切片Stein变分梯度下降（S-SVGD），一种粒子推断方法，通过使用maxSKSD施加确定性变换，避免模式坍塌。
• 采用再生核希尔伯特空间（RKHS）表示检验函数，并利用核函数及其梯度推导出maxSKSD的解析表达式。
• 在S-SVGD中采用自适应带宽选择和初始排斥力调优，以防止训练初期粒子聚集。

实验结果

研究问题

• RQ1 将高维得分函数投影到一维方向是否能保持或提升拟合优度检验中的统计效能？
• RQ2 所提出的maxSKSD在高维拟合优度检验中是否优于KSD及其他基线方法？
• RQ3 与标准SVGD相比，S-SVGD是否能有效缓解变分自编码器中的模式坍塌？
• RQ4 在独立分量分析（ICA）等高维模型学习任务中，maxSKSD表现如何？
• RQ5 在小样本数据集上，S-SVGD是否能在贝叶斯神经网络回归中提供更好的不确定性量化和泛化性能？

主要发现

• 在高维基准问题和受限玻尔兹曼机模型上，maxSKSD在拟合优度检验中显著优于KSD及其他基线方法。
• 在独立分量分析任务中，maxSKSD的收敛速度优于现有Stein差异基线方法。
• 在变分自编码器中，S-SVGD有效缓解了模式坍塌，生成图像的准确率高于标准SVGD，尤其在小样本数据集上表现更优。
• 在UCI回归基准测试中，S-SVGD在9个数据集中的7个上优于SVGD，且在小样本数据集（如波士顿房价和游艇数据集）上表现出更优的粒子分布和更精确的不确定性量化。
• 在9个数据集中的7个上，S-SVGD实现了更低的RMSE和更高的对数似然值，粒子总距离最大提升了5倍，表明粒子多样性更优。
• 在大型蛋白质数据集上，SVGD表现略优（因认知不确定性更低），但S-SVGD在更小、更嘈杂的数据集上仍展现出更优的不确定性估计能力。