[论文解读] Sparsity in Variational Autoencoders

Andrea Asperti|arXiv (Cornell University)|Dec 18, 2018

Generative Adversarial Networks and Image Synthesis参考文献 20被引用 8

一句话总结

本文将变分自编码器（VAEs）中的稀疏性重新解释为一种有益的自正则化形式，而非如‘过度剪枝’般的缺陷。KL散度项在高维潜在空间中天然诱导稀疏性，作者主张通过调整潜在维度来调节模型容量，以实现最优稀疏性，其中卷积架构由于空间特征相关性较强，表现出较低的稀疏性。

ABSTRACT

Working in high-dimensional latent spaces, the internal encoding of data in Variational Autoencoders becomes naturally sparse. We discuss this known but controversial phenomenon sometimes refereed to as overpruning, to emphasize the under-use of the model capacity. In fact, it is an important form of self-regularization, with all the typical benefits associated with sparsity: it forces the model to focus on the really important features, highly reducing the risk of overfitting. Especially, it is a major methodological guide for the correct tuning of the model capacity, progressively augmenting it to attain sparsity, or conversely reducing the dimension of the network removing links to zeroed out neurons. The degree of sparsity crucially depends on the network architecture: for instance, convolutional networks typically show less sparsity, likely due to the tighter relation of features to different spatial regions of the input.

研究动机与目标

• 将VAEs中普遍被视为问题的稀疏性——常被标记为‘过度剪枝’——重新解释为一种有益的自正则化机制。
• 证明VAE目标函数中的Kullback-Leibler（KL）散度项在高维潜在空间中天然诱导稀疏性。
• 提出将稀疏性作为方法论指导，通过逐步增加或减少潜在维度来调节模型容量。
• 研究架构选择（如卷积层）对诱导稀疏性程度的影响。
• 反对临时性正则化方案，转而倡导通过改进架构以降低潜在变量相关性，从而增强稀疏性优势。

提出的方法

• 本文分析VAE目标函数，特别是证据下界（ELBO），其中KL散度项$KL(Q(z|X)\|\| P(z))$作为正则化项。
• 研究表明，在高维潜在空间中，KL项会促使许多潜在变量被置零，从而产生与输入无关的稀疏表示。
• 作者将此稀疏性用作诊断工具：若重构性能良好但生成性能差，则表明聚合后验$Q(z)$与先验$P(z)$之间存在不匹配。
• 他们提出一种两阶段VAE方法，其中第二阶段VAE学习近似$Q(z)$，即使$P(z)$与$Q(z)$不匹配，也能实现高质量生成。
• 该方法涉及潜在维度的渐进式调节：通过增加维度以实现稀疏性，或通过移除未使用的神经元和连接来减少维度。
• 通过对比密集网络与卷积网络，评估架构对稀疏性水平的影响。

实验结果

研究问题

• RQ1 VAEs中观察到的稀疏性是模型容量未被充分利用的标志，还是有益的自正则化形式？
• RQ2 VAE目标函数中的KL散度项在多大程度上天然诱导高维潜在空间中的稀疏性？
• RQ3 能否将稀疏性作为VAE中调节模型容量的方法论指导？
• RQ4 如卷积层等架构选择如何影响VAE潜在表示中的稀疏性程度？
• RQ5 移除KL正则化项或采用替代方案是否能提升生成性能，还是会损害模型的鲁棒性？

主要发现

• VAE目标函数中的KL散度项在高维潜在空间中天然诱导稀疏性，从而产生紧凑且鲁棒的表示。
• 稀疏性作为一种自正则化机制，可减少过拟合，并迫使模型聚焦于最重要的特征。
• 卷积VAE的稀疏性低于全连接网络，可能是因为潜在空间中存在更强的空间特征相关性。
• 稀疏性程度并非缺陷，而是模型容量对齐的信号：若稀疏性过高，增加潜在维度可能提升性能。
• 当聚合后验$Q(z)$与先验$P(z)$不匹配时，两阶段VAE方法仍能生成高质量样本，FID得分与最先进GAN模型相当。
• 本文主张反对临时性正则化技术，转而倡导通过架构创新更有效地利用潜在空间稀疏性。