[论文解读] Weakly Supervised Disentanglement by Pairwise Similarities

Junxiang Chen, Kayhan Batmanghelich|arXiv (Cornell University)|Jun 3, 2019

Generative Adversarial Networks and Image Synthesis参考文献 6被引用 7

一句话总结

该论文提出了一种用于变分自编码器（VAEs）的弱监督解耦方法，利用成对相似性（二值或实数值）作为弱监督信号，以提升潜在因子的解耦性能。通过将相似性建模为依赖于部分潜在变量并惩罚其信息容量，该方法在基准数据集和真实世界的COPD影像数据集上显著优于无监督基线模型。

ABSTRACT

Recently, researches related to unsupervised disentanglement learning with deep generative models have gained substantial popularity. However, without introducing supervision, there is no guarantee that the factors of interest can be successfully recovered. Motivated by a real-world problem, we propose a setting where the user introduces weak supervision by providing similarities between instances based on a factor to be disentangled. The similarity is provided as either a binary (yes/no) or a real-valued label describing whether a pair of instances are similar or not. We propose a new method for weakly supervised disentanglement of latent variables within the framework of Variational Autoencoder. Experimental results demonstrate that utilizing weak supervision improves the performance of the disentanglement method substantially.

研究动机与目标

• 为解决无监督解耦学习中的挑战，即在缺乏归纳偏置的情况下无法保证恢复有意义的变异因子。
• 提出一种实用的弱监督设置，用户可根据目标变异因子提供数据样本之间的成对相似性（二值或实数值）。
• 开发一种基于VAE的方法，联合建模数据样本与成对相似性，实现在抑制其他因子干扰的同时对目标因子进行解耦。
• 在基准数据集和真实世界的COPD影像数据集上评估该方法，其中强标签不可用，采用基于肺功能检查指标的相似性监督。

提出的方法

• 该方法通过联合建模观测数据样本与成对相似性标签，扩展了VAE框架，采用联合似然函数。
• 成对相似性被建模为仅依赖于部分潜在变量，而与其他潜在变量条件独立，以确保目标因子的解耦。
• 引入正则化项以惩罚负责相似性的潜在变量的信息容量，鼓励其仅捕捉目标因子。
• 使用包含重构损失、KL散度和相似性特异性项的证据下界（ELBO）目标进行模型训练。
• 通过可微函数将潜在码映射为预测相似性得分，以实现端到端训练。
• 通过交叉验证调整超参数β、η₁和η₂，以优化对数似然和MIG等解耦度量。

实验结果

研究问题

• RQ1 当强标签不可用时，成对相似性监督能否提升无监督VAE的解耦性能？
• RQ2 在VAE中引入二值或实数值成对相似性对特定潜在因子的解耦有何影响？
• RQ3 成对标签数量的变化如何影响解耦性能，性能在何种程度达到饱和？
• RQ4 该方法对噪声成对相似性标签的敏感性如何，可容忍的噪声水平是多少？
• RQ5 所提方法能否在从医学影像中解耦疾病严重程度方面超越无监督和强监督基线？

主要发现

• 在基准数据集和COPD影像数据集上，该方法在MIG及其他度量下显著优于无监督基线模型。
• 仅需0.01%的成对标签（即每10,000对中1对）即可实现显著性能提升，表明其具有极高的样本效率。
• 随着相似性标签噪声增加，性能下降，但在噪声水平γ ≤ 0.1时仍与基线相当或更优。
• 在使用z^(u)作为回归器预测COPD严重程度临床指标（如FEV1、肺气肿%、气体潴留%、GOLD评分）方面，该方法优于无监督基线。
• 最优超参数β ∈ [2,10]，η₁ = 1e3，η₂ = 2，可最大化对数似然和MIG，且在此范围外敏感度较低。
• 模型成功在MNIST数据集中解耦数字类别因子，同时抑制风格变化，如生成样本所示，不同数字间书写风格保持一致。