[论文解读] SUMO: Unbiased Estimation of Log Marginal Probability for Latent Variable Models
该论文提出了SUMO，一种用于潜在变量模型的对数边缘似然的新型无偏估计器，通过随机截断无穷级数实现。与变分下界相比，该方法在相同计算成本下能实现更精确的训练，获得更高的测试集对数似然，并支持需要无偏梯度的任务，如熵正则化和反向KL最小化。
Standard variational lower bounds used to train latent variable models produce biased estimates of most quantities of interest. We introduce an unbiased estimator of the log marginal likelihood and its gradients for latent variable models based on randomized truncation of infinite series. If parameterized by an encoder-decoder architecture, the parameters of the encoder can be optimized to minimize its variance of this estimator. We show that models trained using our estimator give better test-set likelihoods than a standard importance-sampling based approach for the same average computational cost. This estimator also allows use of latent variable models for tasks where unbiased estimators, rather than marginal likelihood lower bounds, are preferred, such as minimizing reverse KL divergences and estimating score functions.
研究动机与目标
- 解决标准变分下界在训练潜在变量模型时存在的偏差问题。
- 开发一种支持基于梯度优化的对数边缘似然无偏估计器。
- 在无偏估计器至关重要的场景（如熵正则化和反向KL最小化）中，实现潜在变量模型的有效训练。
- 证明无偏估计在相同计算成本下可优于变分下界，在测试集似然性方面表现更优。
提出的方法
- 该方法利用对数边缘似然的无穷级数表示的随机截断，构建无偏估计器。
- 估计器基于边缘似然对数的级数展开，通过随机截断确保无偏性。
- 通过优化编码器-解码器架构中的编码器参数，可最小化估计器的方差。
- 使用估计器的梯度通过随机优化训练模型，实现端到端学习。
- 该方法支持REINFORCE及其他梯度估计器，适用于强化学习和后验推断。
- 该方法适用于具有灵活非线性似然的模型，如使用深度神经网络的变分自编码器。
实验结果
研究问题
- RQ1能否通过级数截断为潜在变量模型构造一个无偏对数边缘似然估计器？
- RQ2所提出的无偏估计器是否能在相同计算成本下实现优于标准变分下界的测试集对数似然？
- RQ3该估计器能否在需要无偏梯度的任务（如熵正则化强化学习）中有效使用？
- RQ4估计器的方差行为如何？能否通过模型架构优化来降低方差？
- RQ5该估计器在高维组合优化任务中是否稳定且有效？
主要发现
- 使用SUMO训练的模型在与重要性加权自编码器（IWAE）相同的平均计算成本下，测试集对数似然显著高于后者。
- SUMO估计器在熵正则化强化学习中实现了稳定训练，而IWAE因偏差和不稳定性而失败。
- 在包含500个变量的二次伪布尔优化任务中，基于SUMO的潜在变量策略在探索能力和收敛至高奖励区域方面，优于独立策略和自回归策略。
- 由于采样可并行化，基于SUMO的模型训练速度比自回归策略快19.2倍，同时保持更优性能。
- 在熵正则化设置下，基于SUMO的模型显著优于IWAE，后者收敛至与非潜在独立模型相似的性能。
- 该方法使得在变分下界因偏差而不适用的任务中，能够使用表达能力强且采样高效的潜在变量模型。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。