[论文解读] Where and What? Examining Interpretable Disentangled Representations

Xinqi Zhu, Chang Xu+1 more|arXiv (Cornell University)|Apr 7, 2021

Digital Media Forensic Detection被引用 5

一句话总结

本文提出了一种新颖的无监督方法，通过建模两个关键假设来学习可解释的解耦表征：空间限制（将每个潜在代码的影响局部化到特定图像区域）和感知简单性（鼓励潜在维度编码感知上简单的变化）。该方法在DSprites和3DShapes数据集上实现了最先进（SOTA）的解耦性能，相较于先前的基于GAN和VAE的模型，其解耦质量与生成保真度均有提升。

ABSTRACT

Capturing interpretable variations has long been one of the goals in disentanglement learning. However, unlike the independence assumption, interpretability has rarely been exploited to encourage disentanglement in the unsupervised setting. In this paper, we examine the interpretability of disentangled representations by investigating two questions: where to be interpreted and what to be interpreted? A latent code is easily to be interpreted if it would consistently impact a certain subarea of the resulting generated image. We thus propose to learn a spatial mask to localize the effect of each individual latent dimension. On the other hand, interpretability usually comes from latent dimensions that capture simple and basic variations in data. We thus impose a perturbation on a certain dimension of the latent code, and expect to identify the perturbation along this dimension from the generated images so that the encoding of simple variations can be enforced. Additionally, we develop an unsupervised model selection method, which accumulates perceptual distance scores along axes in the latent space. On various datasets, our models can learn high-quality disentangled representations without supervision, showing the proposed modeling of interpretability is an effective proxy for achieving unsupervised disentanglement.

研究动机与目标

• 为了解决无监督解耦表征学习中的非唯一性问题，即存在多种满足信息性与独立性但无法唯一解释的表征。
• 探究在无监督设置下，此前未被充分利用的可解释性是否可作为代理来引导解耦而无需真实标签。
• 开发一种方法，通过在潜在空间中强制实现局部化且感知上简单的变异来学习解耦表征。
• 提出一种基于潜在轴上累积感知距离的无监督模型选择方法。

提出的方法

• 引入空间限制（SC）模块，学习空间掩码以在图像生成过程中将每个潜在维度的影响局部化到特征图的特定区域。
• 设计感知简单性损失，通过扰动潜在码并测量生成图像的变化，鼓励每个潜在维度编码简单且感知上可区分的变化。
• 采用可微分的掩码学习机制，限制每个潜在码影响的空间范围，从而提升解耦因子的可解释性。
• 提出总感知损失（TPL）评分，通过测量潜在轴上累积的感知距离来无监督地对模型进行排序，偏好具有更简单、更可解释变化的模型。
• 在统一框架中结合SC模块与感知简单性损失，提升解耦性能的同时保持高质量的图像生成能力。

实验结果

研究问题

• RQ1 在缺乏监督的情况下，可解释性是否可有效建模为解耦的代理？
• RQ2 将每个潜在维度的影响局部化到特定图像区域（空间限制）是否能提升学习表征的可解释性与解耦性？
• RQ3 在潜在轴上强制实现感知上简单的变异是否能带来更好的解耦效果与更有意义的因子分解？
• RQ4 潜在轴上的累积感知距离是否可作为可靠的无监督指标，用于选择高质量的解耦模型？

主要发现

• 在3DShapes数据集上，所提模型的FactorVAE得分达到92.04（±6.49），优于先前方法，包括InfoGAN-CR与基于VAE的基线模型。
• 在DSprites数据集上，模型得分为83.54（±6.91），当结合TPL模型选择方法后进一步提升至84.22（±4.21）。
• 空间限制掩码比标准的softmax注意力图更具可解释性与信息量，后者常产生点状或非局部化的热力图。
• 潜在空间遍历结果表明，所提模型在保持高生成质量的同时实现了更优的解耦性能，而诸如InfoGAN-CR等基线模型则存在纠缠问题（如光照与微笑）及质量下降。
• 在FFHQ数据集上的图像编辑实验表明，该模型能成功转移属性（如发色、表情）同时保持身份和其他属性不变，验证了其解耦质量。
• TPL评分能有效无监督地识别高性能模型，使用TPL评分排名前10的种子在DSprites与3DShapes上均实现了性能提升。