[论文解读] On the Units of GANs (Extended Abstract)

David Bau, Jun-Yan Zhu+5 more|arXiv (Cornell University)|Jan 29, 2019

Cell Image Analysis Techniques参考文献 10被引用 11

一句话总结

本文提出一种方法，通过识别对门、窗户和椅子等语义对象具有因果影响的可解释单元，来解释和操控渐进式生成对抗网络（Progressive GANs）的内部表征。通过消融或插入这些单元，作者展示了对对象生成、伪影减少以及上下文感知对象布局的因果控制，揭示了生成对抗网络学习到了结构化且解耦的场景概念表征。

ABSTRACT

Generative Adversarial Networks (GANs) have achieved impressive results for many real-world applications. As an active research topic, many GAN variants have emerged with improvements in sample quality and training stability. However, visualization and understanding of GANs is largely missing. How does a GAN represent our visual world internally? What causes the artifacts in GAN results? How do architectural choices affect GAN learning? Answering such questions could enable us to develop new insights and better models. In this work, we present an analytic framework to visualize and understand GANs at the unit-, object-, and scene-level. We first identify a group of interpretable units that are closely related to concepts with a segmentation-based network dissection method. We quantify the causal effect of interpretable units by measuring the ability of interventions to control objects in the output. Finally, we examine the contextual relationship between these units and their surrounding by inserting the discovered concepts into new images. We show several practical applications enabled by our framework, from comparing internal representations across different layers, models, and datasets, to improving GANs by locating and removing artifact-causing units, to interactively manipulating objects in the scene. We will open source our interactive tools to help researchers and practitioners better understand their models.

研究动机与目标

• 理解生成对抗网络是否学习到与人类可感知对象（如门、建筑和树木）相对应的内部表征。
• 开发一种方法，用于识别并操控生成对抗网络中对特定语义对象的有无具有因果影响的特定单元。
• 通过定位并消融导致视觉伪影的单元，实现对生成对抗网络的调试。
• 通过受控干预研究生成图像中对象之间的上下文关系。
• 通过因果单元控制实现交互式、基于对象级别的图像操控。

提出的方法

• 通过上采样并设定阈值来识别特征图中的单元，然后使用交并比（IoU）和像素准确率来测量其与真实语义分割掩码的重叠度。
• 若单元在上采样和阈值化后，与某一语义类别的交并比大于0.05且像素准确率大于0.75，则被分类为类别预测器。
• 通过在潜在表征中消融（设为零）或插入（激活）特定单元来研究其因果效应，并观察生成图像的变化。
• 通过测量下游特征图中归一化的L1变化来追踪干预的影响，可视化为热图和折线图。
• 通过比较不同层、生成对抗网络变体和数据集之间的表征，分析训练创新如何影响可解释性。
• 通过FID分数和人工偏好评分评估20个导致伪影的单元的消融效果，以量化质量提升。

实验结果

研究问题

• RQ1 生成对抗网络内部表征中的特定单元是否对应于人类可感知的对象，如门、窗户或椅子？
• RQ2 操控单个单元是否能导致生成图像中特定对象的出现或消失？
• RQ3 场景中的上下文约束如何影响通过单元操控实现对象插入或移除的成功率？
• RQ4 内部单元与生成对抗网络输出中的视觉伪影之间存在何种因果关系？
• RQ5 特征激活如何在各层间传播？什么决定了干预是否会在最终输出中产生可见变化？

主要发现

• 消融20个导致伪影的单元后，FID从52.87降至32.11，人工偏好评分从50.8%提升至79.0%，表明视觉质量显著改善。
• 与语义类别匹配的单元（如门、窗户）在渐进式生成对抗网络的第4至第7层中显著显现，而早期层中语义内容极少。
• 可解释单元的数量随模型质量提升而增加，诸如批量归一化和逐像素归一化等创新显著增强了可解释性。
• 对象移除具有上下文依赖性：在会议室内，人物和窗户可轻松擦除，而同一场景中的桌子和椅子则更难完全移除。
• 在第4层插入门单元时，门仅在语境合适的位置（如建筑物中）出现，且其尺寸、颜色和风格与场景一致。
• 下游层分析表明，第4层的干预在第12层产生放大效应，且在语境有效区域（如建筑物）中的信号传播强于无效区域（如天空或树木）。