[论文解读] Robust Ordinal VAE: Employing Noisy Pairwise Comparisons for Disentanglement

Junxiang Chen, Kayhan Batmanghelich|arXiv (Cornell University)|Oct 14, 2019

Generative Adversarial Networks and Image Synthesis参考文献 22被引用 6

一句话总结

本文提出稳健序数变分自编码器（ROVAE），一种利用噪声成对序数比较来解耦数据中潜在变化因素的变分自编码器。通过为每组比较引入非负可信度分数，ROVAE 能够自动识别并降低不可靠标签的影响，显著提升了在合成数据和真实临床数据上的鲁棒性与解耦性能，尤其在从 CT 扫描中建模 COPD 严重程度方面表现突出。

ABSTRACT

Recent work by Locatello et al. (2018) has shown that an inductive bias is required to disentangle factors of interest in Variational Autoencoder (VAE). Motivated by a real-world problem, we propose a setting where such bias is introduced by providing pairwise ordinal comparisons between instances, based on the desired factor to be disentangled. For example, a doctor compares pairs of patients based on the level of severity of their illnesses, and the desired factor is a quantitive level of the disease severity. In a real-world application, the pairwise comparisons are usually noisy. Our method, Robust Ordinal VAE (ROVAE), incorporates the noisy pairwise ordinal comparisons in the disentanglement task. We introduce non-negative random variables in ROVAE, such that it can automatically determine whether each pairwise ordinal comparison is trustworthy and ignore the noisy comparisons. Experimental results demonstrate that ROVAE outperforms existing methods and is more robust to noisy pairwise comparisons in both benchmark datasets and a real-world application.

研究动机与目标

• 解决仅能获得噪声成对序数比较作为监督信号时，解耦潜在因子的挑战。
• 开发一种方法，可自动评估每组成对比较的可靠性，并在训练过程中降低噪声标签的影响。
• 在存在不可靠人工提供的序数反馈的情况下，提升解耦的鲁棒性，尤其在真实世界医疗应用中。
• 证明从噪声比较中学习可获得比直接使用噪声标签本身更优的解耦表征。

提出的方法

• ROVAE 通过引入成对序数比较作为弱监督信号，扩展了 VAE 框架，其中每组比较表示实例 i 在目标因子上是否比 j 更严重。
• 为每组成对比较引入一个非负随机变量 $ s_{ij} $，以建模标签 $ t_{ij} $ 的可信度，其中 $ s_{ij} = 0 $ 表示忽略该标签。
• 可信度分数 $ s_{ij} $ 采用对数正态先验 $ \mathcal{L}N(\mu_w, \sigma_w^2) $ 建模，使模型可通过端到端训练学习哪些比较更可靠。
• 模型联合优化重构损失、KL 散度和一种加权序数损失，其中每组比较的权重由其学习到的可信度分数 $ s_{ij} $ 决定。
• 通过摊销推断估计后验分布 $ q(s_{ij} | \mathbf{x}_i, \mathbf{x}_j) $，实现在训练过程中动态过滤标签。
• ROVAE 使用重参数化技巧处理对数正态可信度分数，以支持可微训练与反向传播。

实验结果

研究问题

• RQ1 基于 VAE 的模型能否仅使用噪声成对序数比较作为监督信号，有效解耦目标因子？
• RQ2 模型能否在无需显式标注噪声的情况下，自动识别并降低不可靠成对比较的影响？
• RQ3 从噪声比较中学习是否能产生比直接使用噪声标签更优的解耦表征？
• RQ4 随着成对比较中噪声水平的增加，模型性能如何变化？
• RQ5 在临床环境中，ROVAE 能否发现比原始序数标签（如 GOLD 标准）更有意义的解耦表征？

主要发现

• 在 3D Chairs 和 3D Shapes 数据集上，ROVAE 的解耦得分高于 VOVAE 和所有无监督基线方法，尤其在噪声比较条件下表现更优。
• 在 COPD 临床应用中，ROVAE 在预测 Emphysema% 和 GasTrap% 时优于 VOVAE 和无监督方法，各项指标 $ \kappa $ 和 $ r^2 $ 更优。
• ROVAE 学习到的潜在表征在预测 Emphysema% 和 GasTrap% 方面比 GOLD 标准本身更准确，表明其发现了更优的疾病严重程度代理指标。
• 当噪声水平 $ \eta = 0.4 $ 时，42.1% 的成对比较被分配了 $ s_{ij} < 1 $，表明模型自动忽略了大量噪声标签。
• 模型性能对超参数选择具有鲁棒性，尤其当 $ \sigma_w^2 $ 设置得当时——过小会导致对噪声过拟合，过大则会忽略有用标签。
• 后验可信度分数 $ q(s_{ij}) $ 呈双峰分布，峰值分别位于 0 附近和 100 以上，证实了模型区分可信与不可信比较的能力。