[论文解读] Structured Black Box Variational Inference for Latent Time Series Models

Robert Bamler, Stephan Mandt|arXiv (Cornell University)|Jul 4, 2017

Generative Adversarial Networks and Image Synthesis参考文献 16被引用 10

一句话总结

本文提出了一种针对结构化潜在时间序列模型的线性时间黑盒变分推断算法，采用三对角高斯变分分布。通过将前向-后向算法适配到重参数化梯度，该方法实现了对复杂模型（如动态词嵌入）的高效、可扩展训练，在保持 O(T) 复杂度的同时，预测似然性能优于基线方法。

ABSTRACT

Continuous latent time series models are prevalent in Bayesian modeling; examples include the Kalman filter, dynamic collaborative filtering, or dynamic topic models. These models often benefit from structured, non mean field variational approximations that capture correlations between time steps. Black box variational inference with reparameterization gradients (BBVI) allows us to explore a rich new class of Bayesian non-conjugate latent time series models; however, a naive application of BBVI to such structured variational models would scale quadratically in the number of time steps. We describe a BBVI algorithm analogous to the forward-backward algorithm which instead scales linearly in time. It allows us to efficiently sample from the variational distribution and estimate the gradients of the ELBO. Finally, we show results on the recently proposed dynamic word embedding model, which was trained using our method.

研究动机与目标

• 解决标准黑盒变分推断（BBVI）在应用于时间序列模型中的结构化、非均场变分近似时计算效率低下的问题。
• 通过将梯度估计的 O(T²) 成本降低至 O(T)，实现非共轭潜在时间序列模型中可扩展的贝叶斯推断。
• 开发一种与结构化变分分布兼容的重参数化技巧，避免密集矩阵运算。
• 在动态词嵌入模型上验证该方法的有效性，展示其在泛化能力和预测性能上的提升。

提出的方法

• 通过将三对角精度矩阵分解为双对角因子，将前向-后向算法适配到 BBVI，实现高效的线性时间计算。
• 采用一种避免矩阵求逆或矩阵乘法的重参数化方案，通过时间上的前向和后向传递实现梯度估计。
• 使用辅助变量，并通过双对角矩阵的前向和后向代入求解线性系统，以高效计算梯度。
• 通过利用变分分布和似然模型的结构，推导证据下界（ELBO）的梯度估计器。
• 将该方法应用于动态词嵌入模型，其中变分分布将潜在词向量建模为潜在 Ornstein-Uhlenbeck 过程。
• 通过从结构化变分分布中进行蒙特卡洛采样，并利用重参数化计算梯度，保持时间序列结构的可微性。

实验结果

研究问题

• RQ1 能否使黑盒变分推断在时间序列模型的结构化、非均场变分近似中实现高效计算？
• RQ2 是否可能将结构化 BBVI 中梯度估计的 O(T²) 成本降低至 O(T)，同时保持精度？
• RQ3 具有线性时间推理的结构化 BBVI 与均场或基于滤波的方法相比，在动态建模任务中表现如何？
• RQ4 与现有基线相比，该方法能否在动态词嵌入模型中提升预测性能？

主要发现

• 所提出的结构化 BBVI 算法实现 O(T) 复杂度，使其可扩展至长序列时间序列，而朴素 BBVI 则呈二次方增长。
• 在 Google Books 语料库（T=209）上，该方法在预测对数似然上优于 SGI、SGP 和 DSG-F，表现出更优的泛化能力。
• 动态跳字模型平滑算法（DSG-S）在预测似然上显著优于滤波变体（DSG-F），尤其在早期时间步表现更优。
• 该方法能够高效且准确地训练具有结构化后验分布的复杂非共轭潜在时间序列模型，如动态词嵌入。
• 受前向-后向算法启发的重参数化技巧可实现精确梯度计算，无需密集矩阵运算，同时保持可微性和可扩展性。