[论文解读] Semantic uncertainty intervals for disentangled latent spaces

Swami Sankaranarayanan, Anastasios N. Angelopoulos+3 more|arXiv (Cornell University)|Jul 20, 2022

Generative Adversarial Networks and Image Synthesis被引用 5

一句话总结

本文提出了一种在生成模型的解耦潜在空间中生成统计上保证、语义上有意义的不确定性区间的方法。通过结合分位数回归与风险控制校准，该方法为语义因子（如发色或物体位置）生成实例自适应的不确定性区间，这些区间以高概率包含真实值，从而在超分辨率和图像修复等图像恢复任务中实现可解释的不确定性可视化。

ABSTRACT

Meaningful uncertainty quantification in computer vision requires reasoning about semantic information -- say, the hair color of the person in a photo or the location of a car on the street. To this end, recent breakthroughs in generative modeling allow us to represent semantic information in disentangled latent spaces, but providing uncertainties on the semantic latent variables has remained challenging. In this work, we provide principled uncertainty intervals that are guaranteed to contain the true semantic factors for any underlying generative model. The method does the following: (1) it uses quantile regression to output a heuristic uncertainty interval for each element in the latent space (2) calibrates these uncertainties such that they contain the true value of the latent for a new, unseen input. The endpoints of these calibrated intervals can then be propagated through the generator to produce interpretable uncertainty visualizations for each semantic factor. This technique reliably communicates semantically meaningful, principled, and instance-adaptive uncertainty in inverse problems like image super-resolution and image completion.

研究动机与目标

• 解决超分辨率和图像补全等图像值估计问题中缺乏系统性、语义上有意义的不确定性量化问题。
• 为解耦潜在因子（如发色或物体位置）提供不确定性区间，以反映真实的语义不确定性。
• 确保这些区间在统计上有效，无论底层数据分布或模型架构如何，均能保证真实潜在因子值被覆盖的概率。
• 通过将校准后的潜在区间通过生成器传播，实现在图像空间中的可解释不确定性可视化。
• 将无分布假设的不确定性量化技术扩展至生成模型（特别是具有解耦表征的 GAN）的潜在空间。

提出的方法

• 训练一个神经网络编码器，为每个语义因子预测三个输出：给定输入图像的潜在码的点估计、下条件分位数和上条件分位数。
• 使用分位数回归在潜在空间中估计预测区间，建模在输入条件下语义因子的分布。
• 应用风险控制校准程序，调整分位数估计，使得生成的区间在新输入上以用户指定的概率（1−α）包含真实潜在值。
• 使用独立的校准数据集进行区间校准，确保在可交换性假设下具有边际覆盖保证，无需对数据分布做任何假设。
• 将校准后的区间端点通过生成器传播，同时将其他所有潜在维度固定为点估计，以在图像空间中可视化不确定性。
• 将不确定性集合定义为 $ \mathcal{T}(X)_d = [q^{\text{cal}}_{\alpha/2}(X)_d, q^{\text{cal}}_{1-\alpha/2}(X)_d] $，这些集合以高概率保证覆盖 $1-\alpha$ 的语义因子。

实验结果

研究问题

• RQ1 我们能否在解耦潜在空间中为语义因子生成既在统计上有效又在图像空间中可解释的不确定性区间？
• RQ2 如何确保潜在因子上的不确定性区间即使在有限样本条件下，也能以高概率包含真实值？
• RQ3 我们能否将原本为预测输出设计的无分布假设不确定性量化技术，适应于生成模型的潜在空间？
• RQ4 在超分辨率和图像修复等逆向图像问题中，潜在空间中的校准不确定性区间在多大程度上提升了可解释性与可靠性？
• RQ5 当校准集与测试集之间的数据分布发生偏移时，该方法是否仍能保持不确定性校准？

主要发现

• 所提出的方法在解耦潜在空间中生成的不确定性区间，以高概率保证包含真实语义因子值，在最小假设下满足边际覆盖保证。
• 校准后的区间在所有语义因子上均实现了期望的覆盖率（1−α），即使初始分位数估计校准不佳也成立。
• 通过将校准后的区间端点通过生成器传播，该方法在图像空间中生成了直观且语义可解释的不确定性可视化结果。
• 该方法对编码器和生成模型的选择具有鲁棒性，只要潜在空间是解耦的且校准数据能代表测试分布即可。
• 实验表明，当模型对某些区域不确定时（如低置信度的图像恢复区域），不确定性区间会变大，体现了实例自适应的不确定性。
• 该方法不改变模型的预测结果，仅增加一个统计上严谨的不确定性层，因此适用于安全关键型应用场景。