[论文解读] Stick-Breaking Variational Autoencoders

Eric Nalisnick, Padhraic Smyth|arXiv (Cornell University)|May 20, 2016

Generative Adversarial Networks and Image Synthesis被引用 47

一句话总结

本文提出了一种贝叶斯非参数变分自编码器——棒断变分自编码器（SB-VAE），通过棒断过程实现随机且数据自适应的潜在维度。通过利用可微的 Kumaraswamy 分布进行后验推断，SB-VAE 在半监督学习中相比高斯 VAE 能够学习到更具判别性的表征，且泛化性能更优，同时避免了组件坍塌问题。

ABSTRACT

We extend Stochastic Gradient Variational Bayes to perform posterior inference for the weights of Stick-Breaking processes. This development allows us to define a Stick-Breaking Variational Autoencoder (SB-VAE), a Bayesian nonparametric version of the variational autoencoder that has a latent representation with stochastic dimensionality. We experimentally demonstrate that the SB-VAE, and a semi-supervised variant, learn highly discriminative latent representations that often outperform the Gaussian VAE's.

研究动机与目标

• 将随机梯度变分贝叶斯（SGVB）扩展至棒断过程权重的后验推断，这些权重传统上不具备可微性。
• 开发一种 VAE 的贝叶斯非参数变体，能够根据数据复杂度自动确定活跃潜在维度的数量。
• 通过启用具有动态、数据驱动维度的潜在表征，提升表征学习与半监督分类性能。
• 克服高斯 VAE 的局限性，后者固定潜在维度并因 KL 正则化而存在组件坍塌风险。
• 通过棒断权重的可微参数化，实现在深度生成模型中可扩展的、可微的模型容量控制。

提出的方法

• 使用 Kumaraswamy 分布作为棒断权重的非共轭、可微近似后验，使反向传播能够通过潜在变量。
• 通过在潜在维度上引入棒断先验，重新表述 VAE 及其半监督变体，使模型能够自主确定活跃组件的数量。
• 通过 Kumaraswamy 分布实现棒断过程的非中心化参数化，满足 SGVB 所需的可微非中心化参数化（DNCP）条件。
• 使用证据下界（ELBO）与蒙特卡洛近似进行模型训练，其中潜在变量被重参数化为噪声变量的确定性函数。
• 将该方法应用于无监督和半监督学习任务，通过截断限制计算成本，同时保持模型灵活性。
• 采用线性时间算法组装棒段，确保计算开销仅比标准 VAE 略高。

实验结果

研究问题

• RQ1 能否将随机梯度变分贝叶斯扩展至棒断过程权重的后验推断，而这些权重本身并非天然可微？
• RQ2 具有棒断先验的贝叶斯非参数 VAE 是否能学习到比标准高斯 VAE 更具判别性的潜在表征？
• RQ3 SB-VAE 是否能通过根据数据复杂度自适应调整潜在维度，在半监督学习中实现更优性能？
• RQ4 尽管使用 KL 正则化，SB-VAE 如何避免高斯 VAE 中常见的组件坍塌问题？
• RQ5 可微棒断能否实现在深度生成模型中可扩展、自适应的模型容量？

主要发现

• 在 MNIST 数据集上使用 1% 标注数据时，SB-VAE 的半监督分类误差从高斯 VAE 的 27.72% 降低至 11.78%，显著提升。
• 在 SVHN 数据集上使用 1% 标注数据时，SB-VAE 的误差为 32.08%，优于高斯 VAE 的 36.08%，表明在低监督设置下泛化能力更强。
• SB-VAE 保持了稀疏的潜在表征，且未出现组件坍塌，即使潜在维度处于非活跃状态，解码器权重仍保持活跃。
• 模型的潜在表征更好地保留了类别边界，从而提升了判别性能。
• SB-VAE 未表现出权重衰减或组件坍塌的迹象，即使对于非活跃潜在维度，解码器权重也保持稳定且非零。
• SB-VAE 的计算开销极低，仅需线性时间操作组装棒段，具备良好的可扩展性。