[论文解读] Theory and Evaluation Metrics for Learning Disentangled Representations

Kien Do, Truyen Tran|arXiv (Cornell University)|Aug 26, 2019

Digital Media Forensic Detection参考文献 25被引用 32

一句话总结

本文提出了一套基于信息论度量的正式理论框架，从信息性、可分性和可解释性三个维度定义解耦表征。该框架引入了稳健且可量化的评估指标，实验表明这些指标与定性可视化结果一致，并揭示了基于VAE的模型（如FactorVAE和β-VAE）中稳定且可解释的因子。

ABSTRACT

We make two theoretical contributions to disentanglement learning by (a) defining precise semantics of disentangled representations, and (b) establishing robust metrics for evaluation. First, we characterize the concept "disentangled representations" used in supervised and unsupervised methods along three dimensions-informativeness, separability and interpretability - which can be expressed and quantified explicitly using information-theoretic constructs. This helps explain the behaviors of several well-known disentanglement learning models. We then propose robust metrics for measuring informativeness, separability and interpretability. Through a comprehensive suite of experiments, we show that our metrics correctly characterize the representations learned by different methods and are consistent with qualitative (visual) results. Thus, the metrics allow disentanglement learning methods to be compared on a fair ground. We also empirically uncovered new interesting properties of VAE-based methods and interpreted them with our formulation. These findings are promising and hopefully will encourage the design of more theoretically driven models for learning disentangled representations.

研究动机与目标

• 建立一个形式化、理论基础坚实的解耦表征定义，超越模糊的假设。
• 解决现有评估指标不足的问题，实现不同解耦模型之间的公平比较。
• 从三个维度量化解耦程度：信息性（互信息）、可分性（多元互信息）和可解释性（与人类定义因子的一致性）。
• 通过在真实和合成数据集上的综合实验，实证验证所提度量的有效性。
• 揭示基于VAE的模型（如FactorVAE）的新见解，例如因子学习的一致性，以及尽管潜在维度高但有效容量有限。

提出的方法

• 从三个维度定义解耦：信息性（I(x, z_i)）、可分性（I(x, z_i, z_j) = 0）和可解释性（与真实因子对齐）。
• 将信息性形式化为互信息 I(x, z_i) = ∫∫ p_D(x) q(z_i|x) log(q(z_i|x)/q(z_i)) dz dx，通过变分推断计算。
• 使用多元互信息 I(x, z_i, z_j) 量化可分性，并将其分解为两两项。
• 基于学习表征与真实因子之间的线性相关性，提出可解释性度量。
• 设计基于神经网络和对比学习原理的可微、可扩展的互信息估计器。
• 将这些度量应用于比较 β-VAE、FactorVAE 和 AAE 等模型在多个数据集（包括 CelebA 和 dSprites）上的表现。

实验结果

研究问题

• RQ1 如何利用信息论构造来形式化定义解耦表征？
• RQ2 现有解耦方法在信息性、可分性和可解释性方面达到何种程度？
• RQ3 所提度量是否能以与定性视觉检查一致的方式可靠地对模型进行排序？
• RQ4 使用新度量时，VAE-based 模型（如 FactorVAE）的隐藏属性（如因子学习一致性）如何被揭示？
• RQ5 增加潜在维度是否成比例地提升解耦因子数量，还是存在饱和效应？

主要发现

• 所提的信息性、可分性和可解释性度量在多个模型和数据集上均与定性可视化结果高度一致。
• FactorVAE 模型在不同潜在维度（65、100、200）下，均学习到一组一致的可解释因子（如背景颜色），尽管存在排列和对称性问题。
• 按信息性排序时，前10个学习因子在不同模型间表现出视觉一致性和有序性，而按后验均值方差排序则不然。
• 尽管潜在维度高达200，FactorVAE 学习到的有效解耦因子数量仍相对稳定，维持在约38–43个。
• 度量结果揭示，高独立性（如通过总相关性损失实现）并不总能提升重建质量或解耦程度，甚至可能降低信息性。
• 理论分析证明，互信息 I(x, z) 在编码器分布 p(z|x) 上是凸的，支持使用基于梯度的优化方法实现解耦。