[论文解读] Revisiting L1 Loss in Super-Resolution: A Probabilistic View and Beyond

Xiangyu He, Jian Cheng|arXiv (Cornell University)|Jan 25, 2022

Advanced Image Processing Techniques被引用 10

一句话总结

该论文通过将高分辨率输出建模为后验分布 P(y|x;W)，对超分辨率中的 ℓ₁ 损失进行了概率重思考，使网络能够学习一种最小化所有合理解中期望重建误差的一对多映射。该方法在不增加推理成本的前提下，提升了图像保真度和不确定性估计，优于主流架构中的标准 ℓ₁ 损失。

ABSTRACT

Super-resolution as an ill-posed problem has many high-resolution candidates for a low-resolution input. However, the popular $\ell_1$ loss used to best fit the given HR image fails to consider this fundamental property of non-uniqueness in image restoration. In this work, we fix the missing piece in $\ell_1$ loss by formulating super-resolution with neural networks as a probabilistic model. It shows that $\ell_1$ loss is equivalent to a degraded likelihood function that removes the randomness from the learning process. By introducing a data-adaptive random variable, we present a new objective function that aims at minimizing the expectation of the reconstruction error over all plausible solutions. The experimental results show consistent improvements on mainstream architectures, with no extra parameter or computing cost at inference time.

研究动机与目标

• 为解决单图像超分辨率中 ℓ₁ 损失的局限性，该损失将问题视为一对一映射，尽管高分辨率解本身具有非唯一性。
• 将高分辨率图像建模为后验分布 P(y|x;W)，以捕捉感知上有效的解的流形结构。
• 最小化所有合理高分辨率输出的期望重建误差，而非拟合单一真实图像。
• 通过后验分布的预测标准差实现有意义的不确定性估计。
• 在不增加推理时间计算成本的前提下，实现对 ℓ₁ 损失的一致性性能提升。

提出的方法

• 将超分辨率建模为概率模型，其中预测的高分辨率图像 μ 从具有可学习均值 μ 和标准差 σ 的高斯后验 P(y|x;W) 中采样。
• 引入一个数据自适应的随机变量 z ~ N(0,1)，用于从后验分布中采样，使网络能够学习一对多映射。
• 推导出一种新损失函数，以最小化所有采样得到的合理解的期望 ℓ₁ 重建误差：E_z[||ŷ - (μ + |ŷ - μ| * z)||₁]。
• 采用双分支头结构，分别预测 μ（均值）和 σ_pre（标准差），并引入独立的损失函数以鼓励准确的不确定性估计。
• 采用启发式方法通过掩码 z 来聚焦于残差误差 |ŷ - μ| 较小的困难样本，类似于焦点损失，以防止简单样本主导训练过程。
• 使用自动微分实现端到端训练，与标准深度学习框架兼容。

实验结果

研究问题

• RQ1 如何重新诠释 ℓ₁ 损失，以更好地反映超分辨率中高分辨率解的非唯一性？
• RQ2 将高分辨率输出建模为后验分布是否能提升图像保真度并减少与标准 ℓ₁ 损失相比的模糊现象？
• RQ3 通过从后验分布中采样学习一对多映射，是否能带来更符合感知的重建结果？
• RQ4 后验分布的预测标准差能否作为超分辨率输出的可靠不确定性估计？
• RQ5 该方法是否能在不增加推理成本的前提下提升性能？

主要发现

• 所提方法在多个主流超分辨率架构上，均一致地提升了 PSNR 和感知质量，优于标准 ℓ₁ 损失。
• 预测的标准差 σ 与实际残差误差 |ŷ - μ| 密切相关，表明不确定性估计质量较高。
• 通过学习合理高分辨率输出的分布，而非回归到单一均值或中位数，该方法减少了模糊伪影。
• 困难样本挖掘通过聚焦于重建误差较大的区域，提升了训练稳定性和性能。
• 该方法在不增加任何参数或推理时间计算成本的前提下，取得了优于 ℓ₁ 损失的结果。
• 不确定性图 σ 在视觉上与高误差区域对齐，展现出可解释性，并在安全关键应用中具有潜在实用价值。