[论文解读] Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks

Alec Radford, Luke Metz+1 more|arXiv (Cornell University)|Nov 19, 2015

Generative Adversarial Networks and Image Synthesis参考文献 30被引用 6,984

一句话总结

引入具有架构约束的 DCGAN，使深度卷积 GAN 的训练稳定；证明判别器/生成器学习可用于无监督和有监督任务的分层图像表示，并探讨潜在空间算术与可视化。

ABSTRACT

In recent years, supervised learning with convolutional networks (CNNs) has seen huge adoption in computer vision applications. Comparatively, unsupervised learning with CNNs has received less attention. In this work we hope to help bridge the gap between the success of CNNs for supervised learning and unsupervised learning. We introduce a class of CNNs called deep convolutional generative adversarial networks (DCGANs), that have certain architectural constraints, and demonstrate that they are a strong candidate for unsupervised learning. Training on various image datasets, we show convincing evidence that our deep convolutional adversarial pair learns a hierarchy of representations from object parts to scenes in both the generator and discriminator. Additionally, we use the learned features for novel tasks - demonstrating their applicability as general image representations.

研究动机与目标

• 通过提出稳定的 DCGAN 架构，弥合有监督 CNN 的成功与无监督学习之间的差距。
• 证明 DCGAN 在生成器和判别器中均学习到分层表示。
• 显示来自 DCGAN 的学习特征能够迁移到如图像分类等有监督任务中，并具有具竞争力的表现。

提出的方法

• 为实现稳定性采用三条架构约束： (1) 用步幅卷积/分数步卷积替代池化，(2) 在小心放置的位置使用批量归一化，(3) 去除全连接层以实现更深的网络。
• 在 LSUN、ImageNet-1k 以及一个人脸数据集上训练 DCGAN，使用批量大小 128 的 SGD 和 Adam 优化器（学习率 0.0002，beta1 0.5）。
• 生成器使用 ReLU，输出层使用 TanH；判别器中使用 LeakyReLU；全局平均池化仅在有条件地使用，以在稳定性与收敛之间取得平衡。

实验结果

研究问题

• RQ1 DCGAN 架构是否能够稳定用于深度、高分辨率的图像建模？
• RQ2 无监督的 DCGAN 是否学习到对有监督任务有用的可迁移图像表示？
• RQ3 无监督 DCGANs 会产生哪些潜在空间和内部特征属性？
• RQ4 生成样本和潜在空间操作如何反映所学习的语义结构？

主要发现

模型	准确率	准确率（每类 400 个）	最大特征单元数量
K-means (1 Layer)	80.6%	63.7%	4800
3 Layer K-means Learned RF	82.0%	70.7%	3200
View Invariant K-means	81.9%	72.6%	6400
Exemplar CNN	84.3%	77.4%	1024
DCGAN (ours) + L2-SVM	82.8%	73.8%	512

• 在上述约束下训练的 DCGAN 在各数据集上实现稳定训练，并在大规模下生成更高质量的图像。
• 当将判别器卷积特征用作固定特征提取并搭配线性分类器时，能够实现具有竞争力的无监督到有监督迁移性能（例如，使用 DCGAN 特征的 CIFAR-10 达到 82.8% 的准确率）。
• 在他们的设置下，DCGAN 特征在 SVHN 上以 1000 个标注样本达到最先进的水平（测试误差 22.48%），超越了若干基线。
• 引导式反向传播显示学习到的判别器特征在语义上有意义的卧室部件（床、窗户）上产生激活。
• 潜在空间的向量算术与操作显示向量运算对应于语义变换（如人脸姿态变化、物体的改变如去除窗户），指示了解耦、可操作的表示。