[论文解读] The Variational Homoencoder: Learning to learn high capacity generative models from few examples

Luke Hewitt, Maxwell Nye+3 more|arXiv (Cornell University)|Jul 24, 2018

Generative Adversarial Networks and Image Synthesis参考文献 18被引用 30

一句话总结

Variational Homoencoder (VHE) 是一种分层变分自编码器，通过使如 PixelCNN 等强大自回归解码器能有效利用多个样本间的共享潜在变量，从而提升少样本生成建模性能。通过在子采样子集上训练以限制完整似然，VHE 在 Omniglot 和 YouTube Faces 数据集上实现了最先进水平的测试集似然、单样本分类准确率以及条件生成质量，优于标准 VAE 和 Neural Statistician 基线模型。

ABSTRACT

Hierarchical Bayesian methods can unify many related tasks (e.g. k-shot classification, conditional and unconditional generation) as inference within a single generative model. However, when this generative model is expressed as a powerful neural network such as a PixelCNN, we show that existing learning techniques typically fail to effectively use latent variables. To address this, we develop a modification of the Variational Autoencoder in which encoded observations are decoded to new elements from the same class. This technique, which we call a Variational Homoencoder (VHE), produces a hierarchical latent variable model which better utilises latent variables. We use the VHE framework to learn a hierarchical PixelCNN on the Omniglot dataset, which outperforms all existing models on test set likelihood and achieves strong performance on one-shot generation and classification tasks. We additionally validate the VHE on natural images from the YouTube Faces database. Finally, we develop extensions of the model that apply to richer dataset structures such as factorial and hierarchical categories.

研究动机与目标

• 解决标准 VAE 在与 PixelCNN 等强大自回归解码器结合用于少样本学习时，潜在变量利用不足的问题。
• 通过使用子采样子集来限制完整似然，克服如 Neural Statistician 这类分层模型中全集训练计算不可行的问题。
• 通过统一的变分目标，实现对生成模型中分层与因子化潜在结构的有效学习。
• 在单一分层贝叶斯框架下统一条件生成、无条件生成与少样本分类任务，采用通用深度架构。

提出的方法

• VHE 使用一种变分推断目标，对集合 X 的随机子集 D 进行编码，并从同一类别中解码单个样本 x，从而在多个元素间实现共享潜在变量。
• 提出一种依赖于子采样子集 D 和 x 的似然下界，使模型能在保持分层结构的同时，高效训练于大规模或复杂数据集。
• 模型采用两阶段推理过程：首先对子集 D 编码以推断共享潜在码 c，然后使用 p(x|c) 或 p(x|z,c) 解码新样本 x，其中 z 为局部潜在变量。
• 对于分层建模，引入额外潜在层 a 以捕捉更高级结构（如字母级特征），并对 a 和 c 分别进行子采样。
• 对于因子化建模，引入独立的风格潜在变量 s，解码器条件依赖于外积 s⊗c，以实现内容与风格的解耦。
• 该框架支持反卷积与自回归解码器（如 PixelCNN），并通过在变分下界上使用随机梯度下降进行优化训练。

实验结果

研究问题

• RQ1 分层变分自编码器能否在少样本学习中有效利用如 PixelCNN 等强大自回归解码器，而标准 VAE 常因潜在变量利用不足而失败？
• RQ2 基于子采样的似然下界训练是否相比全集训练，在分层模型中能实现更好的泛化性与可扩展性？
• RQ3 VHE 框架能否以统一方式成功建模更丰富的潜在结构，如分层类别（如字母与字符）以及解耦因子（如风格与内容）？
• RQ4 在测试集似然、少样本分类准确率与条件图像生成质量方面，VHE 与 Neural Statistician 及标准 VAE 相比表现如何？
• RQ5 VHE 是否能同时实现高质量图像生成与准确的少样本分类，从而克服以往模型中常见的性能权衡？

主要发现

• 在 Omniglot 数据集上，VHE-PixelCNN 达到最高测试集似然（4091.3 NLL）与 98.9% 的 5-shot 分类准确率，优于 Neural Statistician 与标准 PixelCNN。
• 在 YouTube Faces 数据集上，VHE-PixelCNN 生成的条件样本比 Neural Statistician 更为真实，同时分类准确率也更高。
• VHE 在图像生成与少样本分类任务上均达到最先进性能，证明当潜在变量在多个样本间共享时，高容量解码器可被有效利用。
• 分层 VHE 有效学习了字符级与字母级结构，能从此前未见过的字母中生成忠实的两层级样本。
• 因子化 VHE 有效实现了内容与风格的解耦，通过分别对字符与风格编码，成功实现准确的风格迁移。
• VHE 框架通过降低每个样本的编码成本并提升潜在变量利用率，实现了在少样本设置下对强大自回归模型的有效训练。