[论文解读] Training Generative Adversarial Networks with Binary Neurons by End-to-end Backpropagation

Hao‐Wen Dong, Yi‐Hsuan Yang|arXiv (Cornell University)|Oct 10, 2018

Generative Adversarial Networks and Image Synthesis参考文献 6被引用 8

一句话总结

本文提出 BinaryGAN，一种在生成器输出层使用二值神经元的生成对抗网络，可直接生成二值输出。通过采用Sigmoid调整的直通梯度估计器，该模型实现了端到端反向传播，证明了在保持二值化MNIST数字性能的前提下，GAN可使用离散激活进行训练。

ABSTRACT

We propose the BinaryGAN, a novel generative adversarial network (GAN) that uses binary neurons at the output layer of the generator. We employ the sigmoid-adjusted straight-through estimators to estimate the gradients for the binary neurons and train the whole network by end-to-end backpropogation. The proposed model is able to directly generate binary-valued predictions at test time. We implement such a model to generate binarized MNIST digits and experimentally compare the performance for different types of binary neurons, GAN objectives and network architectures. Although the results are still preliminary, we show that it is possible to train a GAN that has binary neurons and that the use of gradient estimators can be a promising direction for modeling discrete distributions with GANs. For reproducibility, the source code is available at https://github.com/salu133445/binarygan .

研究动机与目标

• 实现生成器中使用二值神经元的GAN端到端训练，避免后续处理步骤。
• 探究梯度估计器是否能有效优化GAN中的离散分布。
• 比较不同二值神经元类型（确定性与随机性）、GAN目标函数（GAN、WGAN、WGAN-GP）以及架构（MLP与CNN）在离散生成中的表现。
• 评估直接从GAN生成二值化数据的可行性，而无需连续松弛或两阶段训练。

提出的方法

• 在生成器输出层使用二值神经元，以在测试时生成离散的二值预测结果。
• 采用Sigmoid调整的直通梯度估计器，在反向传播过程中近似通过不可微的二值化操作的梯度。
• 使用标准反向传播与梯度估计器对完整模型进行端到端训练，以处理离散输出。
• 比较三种GAN目标函数：标准GAN、WGAN（使用权重裁剪）和WGAN-GP（使用梯度惩罚），以评估训练稳定性和样本质量。
• 评估多层感知机（MLP）和卷积神经网络（CNN）作为生成器与判别器架构的表现。
• 应用两种二值化策略：在0.5处进行硬阈值处理，以及对生成器原始输出进行随机伯努利采样。

实验结果

研究问题

• RQ1 能否使用梯度估计器在无需后处理的情况下，对生成器中包含二值神经元的GAN实现端到端训练？
• RQ2 不同GAN目标函数（GAN、WGAN、WGAN-GP）如何影响生成的二值化数字的质量与训练稳定性？
• RQ3 使用确定性与随机性二值神经元对生成样本的多样性与保真度有何影响？
• RQ4 MLP与CNN架构在使用二值神经元生成高质量二值化MNIST数字方面表现如何比较？
• RQ5 在前向传播中包含二值化操作，并在训练期间估计其梯度，是否能提升模型性能？

主要发现

• 所提出的BinaryGAN可直接在推理阶段生成二值化MNIST数字，无需后处理，生成样本视觉上合理。
• WGAN-GP目标函数优于标准GAN与使用权重裁剪的WGAN，生成的样本更具多样性且质量更高，模式崩溃更少。
• 尽管参数更多，基于CNN的架构生成的数字更清晰、结构更完整，伪影更少，优于MLP。
• 通过0.5硬阈值处理的二值化方法生成的数字在一致性和视觉连贯性上优于随机伯努利采样。
• 梯度估计器的使用使二值生成器的训练保持稳定，证实其在GAN中对离散分布建模的可行性。
• 结果表明，结合WGAN-GP与CNN，使用二值神经元的端到端训练在离散数据生成中是可行且高效的。