[论文解读] On Adversarial Mixup Resynthesis
本文提出对抗性混合重生成（adversarial mixup resynthesis），一种结合自编码器潜在表征的方法，通过多种混合函数（如线性插值或基于伯努利分布的掩码）在解码前对潜在表征进行混合，并结合对抗训练生成逼真且插值合理的样本。该方法提升了无监督表示学习性能，并支持类别条件混合，实现在下游线性探测任务上的最先进性能。
In this paper, we explore new approaches to combining information encoded within the learned representations of auto-encoders. We explore models that are capable of combining the attributes of multiple inputs such that a resynthesised output is trained to fool an adversarial discriminator for real versus synthesised data. Furthermore, we explore the use of such an architecture in the context of semi-supervised learning, where we learn a mixing function whose objective is to produce interpolations of hidden states, or masked combinations of latent representations that are consistent with a conditioned class label. We show quantitative and qualitative evidence that such a formulation is an interesting avenue of research.
研究动机与目标
- 通过结构化混合函数结合多个输入的特征表示，提升自编码器的无监督表示学习能力。
- 通过使模型能够从潜在因子的未见组合中合成新颖且逼真的数据点，解决系统性泛化问题。
- 探究线性、遗传或学习型等不同混合机制在自编码器潜在表征上的有效性。
- 通过在混合函数中引入类别标签条件，评估该方法在半监督学习设置下的性能。
- 证明在重建输出上进行对抗训练可提升样本的逼真度与下游任务性能。
提出的方法
- 使用包含编码器 $f(\cdot)$ 和解码器 $g(\cdot)$ 的自编码器，潜在码在重建前通过混合函数进行混合。
- 通过引入判别器 $D$ 区分真实数据与混合重建样本，实施对抗训练。
- 采用多种混合策略：线性插值（mixup）、伯努利掩码，以及基于神经网络的混合函数。
- 通过将混合函数与类别标签条件化，实现类别条件混合，以生成与目标属性一致的合理插值。
- 联合最小化重建损失与对抗损失，训练自编码器，确保生成混合样本的逼真性。
- 通过在线性分类器在下游任务上的表现评估性能，以线性探测准确率衡量零样本泛化能力。
实验结果
研究问题
- RQ1通过多样化函数从多个输入中混合潜在表征，能否提升自编码器中无监督表示的质量？
- RQ2在混合重建结果上进行对抗训练，如何影响合成数据的逼真度与泛化能力？
- RQ3通过学习函数实现的类别条件混合，是否能提升与目标属性一致的插值一致性？
- RQ4在下游性能与解耦性方面，不同混合函数（如线性与伯努利）的性能如何比较？
- RQ5该框架能否在不依赖伪标签调度的情况下扩展至半监督学习？
主要发现
- 对抗性混合重生成在SVHN、CIFAR10和CelebA数据集上均提升了下游线性探测准确率，最高较基线自编码器提升3.5%。
- 伯努利混合在解耦性度量上优于标准mixup，表明其在生成样本中对因子组成的控制更优。
- 该方法实现了有效的类别条件混合，可生成与特定类别标签一致的逼真插值。
- 与像素空间混合相比，潜在空间混合能生成更逼真、更多样化的样本，尤其在CIFAR10等复杂数据集上表现更优。
- 该方法在半监督学习中具有良好泛化能力，无需复杂伪标签调度。
- 尽管在CIFAR10上性能提升有限（仅几个百分点），但该方法在未见因子组合的系统性泛化方面展现出强大潜力。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。