[论文解读] Relevance Factor VAE: Learning and Identifying Disentangled Factors

Minyoung Kim, Yuting Wang+2 more|arXiv (Cornell University)|Feb 5, 2019

Digital Media Forensic Detection参考文献 19被引用 22

一句话总结

本文提出了一种基于变分自编码器的新模型——相关性因子变分自编码器（Relevance-Factor VAE），通过可学习的相关性指示变量自动识别潜在空间中的相关因子，在无监督设置下学习解耦表示。该模型仅对相关因子施加总相关性损失，同时容忍干扰因子的高先验KL散度，从而在基准数据集上实现了最先进（SOTA）的解耦性能，包括与定性解释更好的对齐性以及引入的新评估指标。

ABSTRACT

We propose a novel VAE-based deep auto-encoder model that can learn disentangled latent representations in a fully unsupervised manner, endowed with the ability to identify all meaningful sources of variation and their cardinality. Our model, dubbed Relevance-Factor-VAE, leverages the total correlation (TC) in the latent space to achieve the disentanglement goal, but also addresses the key issue of existing approaches which cannot distinguish between meaningful and nuisance factors of latent variation, often the source of considerable degradation in disentanglement performance. We tackle this issue by introducing the so-called relevance indicator variables that can be automatically learned from data, together with the VAE parameters. Our model effectively focuses the TC loss onto the relevant factors only by tolerating large prior KL divergences, a desideratum justified by our semi-parametric theoretical analysis. Using a suite of disentanglement metrics, including a newly proposed one, as well as qualitative evidence, we demonstrate that our model outperforms existing methods across several challenging benchmark datasets.

研究动机与目标

• 解决现有无监督解耦方法无法区分潜在空间中意义因子与干扰因子的局限性。
• 开发一种方法，可在不预先知晓其基数的情况下，自动识别解耦因子的真实数量与身份。
• 通过仅对相关因子施加总相关性损失，同时允许干扰因子具有高先验KL散度，从而提升解耦性能。
• 引入一种新的解耦评估指标（指标II），使其与解耦质量的定性评估更加一致。
• 为容忍干扰因子的高先验KL散度但同时在相关因子上保持解耦性提供半参数化的理论依据。

提出的方法

• 为每个潜在维度引入可学习的相关性指示变量（r_i），以区分相关因子与干扰因子。
• 通过仅对相关性得分较高的潜在维度应用总相关性（TC）损失，修改VAE目标函数，从而有效过滤干扰因子。
• 将先验KL散度视为干扰因子的正则化项，允许其与标准正态先验存在较大偏差，而不会降低模型性能。
• 采用联合优化框架，通过端到端反向传播同时训练VAE参数与相关性指示变量。
• 采用半参数化的理论分析，为容忍干扰因子高先验KL散度的设计选择提供理论支持。
• 提出一种基于学习到的因子遍历与人工标注的因子语义对齐性的新解耦度量指标（指标II）。

实验结果

研究问题

• RQ1 在无监督设置下，VAE-based模型是否能自动识别并聚焦于潜在空间中的相关因子变化，而无需预先知晓这些因子的数量或性质？
• RQ2 仅对相关因子施加总相关性损失（同时容忍干扰因子的高先验KL散度）是否相比均匀应用TC损失能显著提升解耦性能？
• RQ3 所提出的相关性指示机制在识别真实解耦因子数量方面表现如何，特别是在因子数量未知或存在离散、低基数因子的情况下？
• RQ4 新提出的解耦度量指标（指标II）与解耦质量的定性评估之间的相关性如何？
• RQ5 该模型是否能在具有复杂、共现或离散因子变化的真实世界数据集（如Celeb-A）上实现泛化？

主要发现

• RF-VAE在多个基准数据集（包括Sprites、Teapots和Celeb-A）上，在所有标准指标与新提出的解耦指标上均优于现有最先进模型。
• 在Sprites数据集上，RF-VAE实现了接近完美的解耦得分（指标I与指标II），显著优于β-VAE与Factor-VAE等基线模型。
• 在Sprites的仅椭圆子集上，RF-VAE正确识别出五个相关潜在维度，其中旋转信息由两个维度编码，与定性预期一致。
• 在Teapots数据集上，RF-VAE识别出七个相关因子（包括五个真实因子），优于假设五个因子的RF-VAE-0模型，表明灵活的因子识别机制可提升性能。
• 该模型在Celeb-A上对关键属性（如发色、性别与面部表情）的识别表现出鲁棒性，即使存在离散与共现因子。
• β-VAE在Teapots上表现欠佳，可能由于过度正则化导致输入与潜在空间间信息流受阻，验证了该方法的已知局限性。