[论文解读] Self-Supervised GAN Compression

Chong Yu, Jeff Pool|arXiv (Cornell University)|Jul 3, 2020

Generative Adversarial Networks and Image Synthesis参考文献 42被引用 4

一句话总结

本文提出了一种用于生成对抗网络（GANs）的自监督压缩方法，利用预训练判别器对生成器进行剪枝，克服了标准剪枝技术在保持 GAN 质量方面的失败。该方法在仅需原始训练时间 1-10% 的情况下，实现了高达 90% 的稀疏度，且质量下降极小，尤其在细粒度（元素级）剪枝下表现更优。

ABSTRACT

Deep learning's success has led to larger and larger models to handle more and more complex tasks; trained models can contain millions of parameters. These large models are compute- and memory-intensive, which makes it a challenge to deploy them with minimized latency, throughput, and storage requirements. Some model compression methods have been successfully applied to image classification and detection or language models, but there has been very little work compressing generative adversarial networks (GANs) performing complex tasks. In this paper, we show that a standard model compression technique, weight pruning, cannot be applied to GANs using existing methods. We then develop a self-supervised compression technique which uses the trained discriminator to supervise the training of a compressed generator. We show that this framework has a compelling performance to high degrees of sparsity, can be easily applied to new tasks and models, and enables meaningful comparisons between different pruning granularities.

研究动机与目标

• 为解决复杂 GAN 模型中缺乏有效的模型压缩技术，特别是生成器剪枝的问题。
• 识别标准剪枝方法为何在复杂任务中无法保持 GAN 生成质量。
• 开发一种自监督压缩框架，在生成器压缩过程中保持高保真输出。
• 评估不同剪枝粒度（元素级与滤波器级）及稀疏度水平对 GAN 性能的影响。
• 实现在极低超参数调优和微调需求下的高效端到端 GAN 生成器压缩。

提出的方法

• 该方法利用预训练判别器在生成器压缩过程中提供自监督信号，无需原始训练数据。
• 提出一种新型损失函数，将原始生成器与压缩生成器的输出与判别器对真实/虚假样本的预测相结合。
• 通过结构化稀疏性实现剪枝，支持元素级（0D）、向量级（1D）、卷积核级（2D）和滤波器级（3D）压缩。
• 利用判别器的反馈对压缩后的生成器进行微调，实现高稀疏度下性能损失极小。
• 该框架为端到端设计，仅需一个可选超参数（实验中设为 0.5）。
• 该方法已应用于多种 GAN 架构与任务，包括图像到图像翻译和风格迁移。

实验结果

研究问题

• RQ1 为何标准剪枝技术在复杂任务中无法保持 GAN 生成器的质量？
• RQ2 在无原始训练数据访问的情况下，预训练判别器能否有效监督 GAN 生成器的压缩？
• RQ3 不同剪枝粒度（元素级与滤波器级）如何影响压缩后 GAN 生成器的质量与稳定性？
• RQ4 压缩 GAN 中稀疏度与生成质量之间的最优权衡是什么？
• RQ5 自监督压缩能否在极少微调时间下实现高压缩率，且无需依赖外部评估指标？

主要发现

• 细粒度（元素级）剪枝在高达 90% 稀疏度下仍保持稳定性能，图像质量仅轻微下降，FID 分数从 32.006 上升至 41.251。
• 滤波器级剪枝即使在 25% 稀疏度下也导致严重伪影和颜色偏移，FID 分数飙升至 82.349，表明其在 GAN 中适用性极差。
• 自监督压缩过程仅需原始训练时间的 1-10%，效率极高。
• 该方法在多种任务中均保持了高感知质量，包括 CycleGAN 和 StarGAN，PSNR 与 SSIM 值接近原始生成器。
• 在定性和定量指标上，该方法在高稀疏度下均优于先前工作。
• 损失曲线能准确反映最终生成质量，实现无需外部指标的可靠监控。