[论文解读] Stabilizing GANs with Octave Convolutions.

Ricard Durall, Franz‐Josef Pfreundt+1 more|arXiv (Cornell University)|May 29, 2019

Generative Adversarial Networks and Image Synthesis参考文献 16被引用 7

一句话总结

本文提出了一种名为Octave卷积的新技术，通过将卷积滤波器分解为高频和低频分量，并将权重更新从低频转移到高频，从而稳定基于CNN的GAN训练。该方法迫使生成器先学习图像的粗略结构，再逐步细化细节，有效减少模式崩溃，并提升各类GAN架构的训练稳定性。

ABSTRACT

In this preliminary report, we present a simple but very effective technique to stabilize the training of CNN based GANs. Motivated by recently published methods using frequency decomposition of convolutions (e.g. Octave Convolutions), we propose a novel convolution scheme to stabilize the training and reduce the likelihood of a mode collapse. The basic idea of our approach is to split convolutional filters into additive high and low frequency parts, while shifting weight updates from low to high during the training. Intuitively, this method forces GANs to learn low frequency coarse image structures before descending into fine (high frequency) details. Our approach is orthogonal and complementary to existing stabilization methods and can simply plugged into any CNN based GAN architecture. First experiments on the CelebA dataset show the effectiveness of the proposed method.

研究动机与目标

• 为解决基于CNN的GAN中长期存在的训练不稳定问题，特别是模式崩溃和收敛性差的问题。
• 探究卷积滤波器的频率分解是否能改善GAN的学习动态。
• 开发一种简单、即插即用的方法，无需对网络架构进行大规模修改，即可与现有GAN稳定技术协同使用。
• 评估从低频到高频的权重更新转移在促进生成器中分层特征学习方面的有效性。

提出的方法

• 该方法使用基于八度音阶的频率分解，将标准卷积滤波器分解为低频和高频分量。
• 在训练过程中，权重更新首先应用于低频分量，随后再传递到高频分量。
• 这形成了一种分层学习过程，使生成器先学习图像的粗略结构，再逐步优化细节。
• 该方法与现有GAN训练技术正交，可无缝集成到任意基于CNN的GAN架构中。
• 频率分解通过一种改进的卷积层实现，既保持计算效率，又支持频率感知的优化。

实验结果

研究问题

• RQ1 卷积滤波器的频率分解是否能改善GAN中的训练稳定性？
• RQ2 将权重更新从低频分量转移到高频分量是否能减少GAN中的模式崩溃？
• RQ3 该方法是否可在无需修改架构的前提下，有效应用于多种基于CNN的GAN架构？
• RQ4 粗到细的分层特征学习如何影响生成图像的质量与多样性？

主要发现

• 所提出的Octave卷积方法显著提升了基于CNN的GAN的训练稳定性，降低了模式崩溃的可能性。
• 在CelebA数据集上的实验表明，该方法能有效稳定多种GAN架构的训练过程。
• 该技术使生成器能够先学习图像的粗略结构，再逐步细化细节，从而生成更连贯且多样化的样本。
• 该方法与现有GAN训练技术兼容，可无缝集成到任何基于CNN的GAN框架中。