[论文解读] Particle Smoothing Variational Objectives

Antonio Khalil Moretti, Zizhao Wang+3 more|arXiv (Cornell University)|Sep 20, 2019

Gaussian Processes and Bayesian Inference参考文献 19被引用 7

一句话总结

本文提出了一种新型的后向采样 SMC 方法——粒子平滑变分目标（SVO），通过增强粒子多样性与提案支持，改进非线性状态空间模型中的变分推断。SVO 在使用更少的蒙特卡洛样本时，性能优于过滤型目标，尤其通过使用有偏梯度估计器，有效缓解了样本数量 K 增加时信噪比（SNR）下降的问题。

ABSTRACT

A body of recent work has focused on constructing a variational family of filtered distributions using Sequential Monte Carlo (SMC). Inspired by this work, we introduce Particle Smoothing Variational Objectives (SVO), a novel backward simulation technique and smoothed approximate posterior defined through a subsampling process. SVO augments support of the proposal and boosts particle diversity. Recent literature argues that increasing the number of samples K to obtain tighter variational bounds may hurt the proposal learning, due to a signal-to-noise ratio (SNR) of gradient estimators decreasing at the rate $\mathcal{O}(1/\sqrt{K})$. As a second contribution, we develop theoretical and empirical analysis of the SNR in filtering SMC, which motivates our choice of biased gradient estimators. We prove that introducing bias by dropping Categorical terms from the gradient estimate or using Gumbel-Softmax mitigates the adverse effect on the SNR. We apply SVO to three nonlinear latent dynamics tasks and provide statistics to rigorously quantify the predictions of filtered and smoothed objectives. SVO consistently outperforms filtered objectives when given fewer Monte Carlo samples on three nonlinear systems of increasing complexity.

研究动机与目标

• 解决在非线性动态系统中，过滤型变分目标因蒙特卡洛样本数 K 增加导致学习性能下降的问题，其根源在于信噪比（SNR）衰减。
• 提出一种平滑的变分目标，以全观测序列作为条件，提升后验近似与预测准确性。
• 分析过滤型 SMC 中梯度估计器的 SNR，特别是重采样与分类重参数化的影响。
• 提出并验证一种新型后向采样算法，以增强粒子多样性，并支持更具表达力的变分近似。

提出的方法

• 提出一种递归后向采样算法，用于构建对潜变量状态的平滑后验分布，条件依赖于完整的观测序列。
• 引入一种子采样过程，以增强提案支持并提升变分族中的粒子多样性。
• 通过丢弃分类项或使用 Gumbel-Softmax 松弛，采用有偏梯度估计器以降低方差并稳定训练。
• 理论分析表明，由于重采样步骤的存在，过滤型 SMC 中不会出现 SNR 衰减，从而为使用有偏估计器提供了理论依据。
• 为目标网络与推理网络分别使用独立的演化网络，提升训练稳定性和性能。
• 将 SVO 应用于非线性系统，包括洛伦兹吸引子与神经电生理数据，评估其在预测准确率与 ELBO 分数方面的表现。

实验结果

研究问题

• RQ1 与标准过滤方法相比，后向采样 SMC 方法是否能改进非线性状态空间模型中的变分推断？
• RQ2 在过滤型 SMC 中，随着粒子数 K 增加，梯度估计器的信噪比（SNR）行为如何？
• RQ3 在 SMC 基础的 VI 中，通过引入梯度估计器的偏差（如省略分类项或使用 Gumbel-Softmax）是否能改善 SNR 与训练稳定性？
• RQ4 相较于过滤型目标，SVO 在使用更少蒙特卡洛样本时，能否显著提升预测性能与 ELBO 值？
• RQ5 在粒子数量有限的情况下，SVO 是否能有效建模复杂非线性动力学，如混沌系统与生物神经数据？

主要发现

• SVO 在 ELBO 与预测准确率方面始终优于过滤型目标，即使在 K=2 的粒子数下也表现优异，超越了使用 K=256 的 AESMC 与 GfLDS 方法。
• 在洛伦兹吸引子实验中，SVO 使用 K=2 与 M=2 即获得比 K=256 的 AESMC 更高的 R² 分数，展现出卓越的样本效率。
• 在神经电生理数据中，SVO 准确捕捉了如超极化与去极化等非线性动力学，预测 R² 表现优于 GfLDS 与 AESMC。
• 实证 SNR 分析显示，无偏分类梯度估计器在 K 增大时方差高且 SNR 显著下降，而有偏估计器（如固定 λ 的 Gumbel-Softmax）则保持 SNR 稳定。
• 理论分析确认，由于重采样步骤的存在，过滤型 SMC 中不会出现 SNR 衰减，从而验证了有偏估计器的合理性。
• SVO 为提案网络与目标网络分别使用独立演化网络，相比共享网络显著提升了性能，尤其在低 K 条件下。