[论文解读] Transflow Learning: Repurposing Flow Models Without Retraining

Andrew Gambardella, Atılım Güneş Baydin+1 more|arXiv (Cornell University)|Nov 29, 2019

Generative Adversarial Networks and Image Synthesis参考文献 24被引用 6

一句话总结

Transflow Learning 实现了对预训练可逆生成模型（例如归一化流）的零样本适应，无需微调即可生成来自新分布的数据。通过在潜在空间中执行贝叶斯推断，利用少量观测数据点将先验分布进行形变，该方法在少样本分类和风格迁移任务中表现出色，相较于 k-NN 基线方法在仅使用 30 个标注样本的 MNIST 数据集上表现更优。

ABSTRACT

It is well known that deep generative models have a rich latent space, and that it is possible to smoothly manipulate their outputs by traversing this latent space. Recently, architectures have emerged that allow for more complex manipulations, such as making an image look as though it were from a different class, or painted in a certain style. These methods typically require large amounts of training in order to learn a single class of manipulations. We present Transflow Learning, a method for transforming a pre-trained generative model so that its outputs more closely resemble data that we provide afterwards. In contrast to previous methods, Transflow Learning does not require any training at all, and instead warps the probability distribution from which we sample latent vectors using Bayesian inference. Transflow Learning can be used to solve a wide variety of tasks, such as neural style transfer and few-shot classification.

研究动机与目标

• 实现从预训练可逆生成模型到新数据分布的迁移学习，而无需微调。
• 通过利用潜在空间推断，解决少样本学习中的样本效率挑战。
• 证明预训练模型（例如在 CelebA 上训练的模型）的知识可被重新用于下游任务，如分类和风格迁移。
• 提供一种低成本的微调替代方案，避免梯度更新和反向传播。
• 探索对部分或多重模式数据（例如仅音频）进行条件生成的可行性。

提出的方法

• 将原始潜在先验 $ q(\mathbf{z}) $ 视为贝叶斯先验，并基于 $ m $ 个观测数据点 $ \mathbf{x}_{1:m} $ 进行条件化，这些数据点被映射为潜在向量 $ \bm{\zeta}_i = f^{-1}(\mathbf{x}_i) $。
• 使用贝叶斯后验推断计算新的后验分布 $ q(\mathbf{z}|\bm{\zeta}_{1:m}) $，该分布将采样分布向新数据流形方向移动。
• 利用逆流 $ f^{-1} $ 将观测数据映射到潜在空间，实现在不微调模型的前提下进行分布形变。
• 通过从后验 $ q(\mathbf{z}|\bm{\zeta}_{1:m}) $ 中采样并将其通过前向流 $ f $ 生成新样本。
• 引入正则化项 $ \lambda \| \mathbb{E}[\mathbf{z}] - \bar{\bm{\zeta}} \|_2^2 $ 以稳定后验分布并防止模式崩溃。
• 在分类任务中应用后验预测分布，其中最可能的类别对应于最高的后验概率。

实验结果

研究问题

• RQ1 能否在不微调的前提下，将预训练的可逆生成模型适应于生成新分布的数据？
• RQ2 贝叶斯潜在空间形变在仅使用少量标注样本的情况下，对少样本分类的有效性如何？
• RQ3 在低数据场景下，Transflow Learning 与微调模型或 k-NN 基线相比是否能实现具有竞争力的性能？
• RQ4 该方法在非流模型或多重条件输入下的局限性是什么？
• RQ5 当基于不完整或部分数据（例如仅音频）进行条件生成时，该方法的表现如何？

主要发现

• 在仅使用 30 个样本的 MNIST 少样本分类任务中，Transflow Learning 达到了 69.52% 的准确率，显著优于像素空间 k-NN（20.55%）和潜在空间 k-NN（47.58%）。
• 当每类仅使用 1 个标注样本时，Transflow Learning 达到 30.39% 的准确率，显著优于像素空间 k-NN（14.99%），并达到与潜在空间 k-NN（27.78%）相当的水平。
• 随着 $ m $ 增大，样本质量下降，因为后验均值趋向于原点（即‘自然’人脸分布），但分类准确率因后验集中度提高而提升。
• 该方法仅需对逆流 $ f^{-1} $ 进行 $ m $ 次评估，相较于基于梯度的微调方法计算效率更高。
• 该方法成功实现了无需任何模型更新的风格迁移和少样本分类，证明了从预训练模型实现零样本迁移的可行性。
• 该方法可推广至其他可逆模型（如 BiGANs），尽管更小的潜在空间可能允许更精细的控制并使用更低的 $ \lambda $ 值。