[论文解读] Weakly-Supervised Disentanglement Without Compromises

Francesco Locatello, Ben Poole+4 more|arXiv (Cornell University)|Feb 7, 2020

Blind Source Separation Techniques参考文献 78被引用 96

一句话总结

该论文证明了可辨识性，并提供自适应的弱监督 VAE，用于从缺少分组注释的图像对中学习解缠表示，并在多项任务上展示了强大的下游有用性。

ABSTRACT

Intelligent agents should be able to learn useful representations by observing changes in their environment. We model such observations as pairs of non-i.i.d. images sharing at least one of the underlying factors of variation. First, we theoretically show that only knowing how many factors have changed, but not which ones, is sufficient to learn disentangled representations. Second, we provide practical algorithms that learn disentangled representations from pairs of images without requiring annotation of groups, individual factors, or the number of factors that have changed. Third, we perform a large-scale empirical study and show that such pairs of observations are sufficient to reliably learn disentangled representations on several benchmark data sets. Finally, we evaluate our learned representations and find that they are simultaneously useful on a diverse suite of tasks, including generalization under covariate shifts, fairness, and abstract reasoning. Overall, our results demonstrate that weak supervision enables learning of useful disentangled representations in realistic scenarios.

研究动机与目标

• 激励从非独立同分布的图像对中学习解缠表示，其中只有一部分因子发生变化。
• 证明在配对观测下，是在较弱假设下可实现可辨识性。
• 开发实用的自适应算法，在没有分组注释的情况下推断因子共享。
• 通过大规模实验证明弱监督能获得可靠的解缠和有用的表征。

提出的方法

• 提出一种弱监督生成模型，其中两个观测在潜在因子中共享一组随机的子集，在其他方面存在差异。
• 推导可辨识性结果，表明在具有限制的分布匹配下可得到位于潜在轴置换的解缠后验。
• 引入 Ada-GVAE 和 Ada-ML-VAE 变体，通过对共享坐标的后验进行平均来自适应地从成对样本中推断共享因子（S）。
• 使用带有新颖平均约束的 beta-VAE 目标函数，在未知分组结构下强制共享/非共享坐标的一致性。
• 基于成对后验之间的 KL 散度，使用类似肘部法则的启发式方法估计每对的共享因子数量 k。

实验结果

研究问题

• RQ1 是否可以在没有显式分组注释的情况下从非独立同分布的图像对中识别出解缠表示？
• RQ2 当 k 未知且可变时，如何自适应地推断成对样本中哪些潜在因子是共享的？
• RQ3 弱监督解缠表示是否具有泛化性并在协变量漂移和公平性约束下对下游任务有用？
• RQ4 在性能与鲁棒性方面，自适应弱监督方法与完全监督的基于分组的方法相比如何？

主要发现

• 弱监督模型在五个数据集上始终优于无监督基线。
• Ada-GVAE（及 Ada-ML-VAE）能够可靠地适应改变因子数量 k 的变化，并且常常达到或超过分组监督方法。
• 在弱监督下学习的解缠表示与协变量漂移时的强泛化相关。
• 弱监督重构损失可作为下游任务表现和公平性结果的有用代理。
• 通过弱监督学习的表示提高了下游任务的鲁棒性和抽象推理能力。