[论文解读] Single-Image HDR Reconstruction by Learning to Reverse the Camera Pipeline

Yu-Lun Liu, Wei‐Sheng Lai+5 more|arXiv (Cornell University)|Apr 2, 2020

Image Enhancement Techniques参考文献 54被引用 15

一句话总结

本文提出了一种新颖的单图像HDR重建方法，通过逆向相机处理流程，将任务分解为三个专用子网络：去量化网络（Dequantization-Net）、线性化网络（Linearization-Net）和幻觉生成网络（Hallucination-Net），分别用于处理量化问题、非线性响应函数估计以及过曝区域的细节恢复。通过引入物理约束并进行端到端微调，该方法在合成数据集和真实世界数据集上均取得了当前最优性能，在HDR-VDP-2评分和视觉质量方面显著优于以往基于学习的方法。

ABSTRACT

Recovering a high dynamic range (HDR) image from a single low dynamic range (LDR) input image is challenging due to missing details in under-/over-exposed regions caused by quantization and saturation of camera sensors. In contrast to existing learning-based methods, our core idea is to incorporate the domain knowledge of the LDR image formation pipeline into our model. We model the HDRto-LDR image formation pipeline as the (1) dynamic range clipping, (2) non-linear mapping from a camera response function, and (3) quantization. We then propose to learn three specialized CNNs to reverse these steps. By decomposing the problem into specific sub-tasks, we impose effective physical constraints to facilitate the training of individual sub-networks. Finally, we jointly fine-tune the entire model end-to-end to reduce error accumulation. With extensive quantitative and qualitative experiments on diverse image datasets, we demonstrate that the proposed method performs favorably against state-of-the-art single-image HDR reconstruction algorithms.

研究动机与目标

• 为解决从单张LDR输入进行单图像HDR重建的挑战，即由于传感器限制导致的欠曝与过曝区域关键细节丢失问题。
• 通过显式建模LDR图像生成流程的物理步骤，克服直接学习LDR到HDR映射的困难。
• 通过将问题分解为去量化、线性化和幻觉生成三个子任务，提升泛化能力并减少误差累积。
• 通过领域特定约束（如CRF估计中的单调性约束和感知损失）提升各子网络的性能，使其更符合物理可实现性。
• 在合成数据集和真实世界数据集上验证方法，证明其在视觉质量与HDR-VDP-2等定量指标上的优越表现。

提出的方法

• 该方法将LDR图像生成流程建模为三个顺序步骤：动态范围裁剪、通过相机响应函数（CRF）进行非线性映射，以及量化。
• 提出一种去量化网络（Dequantization-Net），通过残差学习框架恢复因8位量化导致的细节损失，以恢复条带状伪影和噪声。
• 提出一种线性化网络（Linearization-Net），利用边缘特征、强度直方图及单调递增约束，更准确地估计逆CRF，提升精度与物理合理性。
• 提出一种幻觉生成网络（Hallucination-Net），通过正残差学习预测过曝区域缺失内容，采用上采样卷积减少棋盘状伪影，并结合感知损失实现逼真的纹理生成。
• 引入一种精炼网络（Refinement-Net），对整个模型进行端到端联合微调，减少误差累积，并提升在真实世界输入上的鲁棒性。
• 采用分阶段训练策略，先对各子任务进行独立监督，再进行端到端微调，以增强泛化能力。

实验结果

研究问题

• RQ1 显式建模相机处理流程的正向过程是否能提升单图像HDR重建性能？
• RQ2 将HDR重建分解为去量化、线性化和幻觉生成三个子任务，是否比端到端学习具有更好的泛化能力？
• RQ3 物理约束（如CRF估计中的单调性、边缘/直方图特征）在提升逆CRF估计与线性图像恢复方面的有效性如何？
• RQ4 感知损失与架构选择（如上采样卷积）在提升幻觉区域视觉真实感方面的贡献有多大？
• RQ5 采用中间监督的分阶段训练是否优于从零开始端到端训练整个模型？

主要发现

• 去量化网络在PSNR上达到35.87 ± 6.11，SSIM达到0.9955 ± 0.0070，优于Hou等人[18]和Liu等人[35]等先前方法。
• 结合边缘特征、直方图信息与单调性约束的线性化网络，将逆CRF的L2误差降低至1.56 ± 2.52，并在重建线性图像上实现34.64 ± 6.73的PSNR。
• 采用正残差学习、上采样卷积与感知损失的幻觉生成网络，获得66.31 ± 15.82的HDR-VDP-2评分，显著优于消融实验的变体。
• 从零开始端到端训练在HDR-Synth数据集上导致HDR-VDP-2评分下降-4.43，在HDR-Real数据集上下降-3.48，证明了分阶段训练的优势。
• 该方法在合成数据集与真实世界数据集上均达到当前最优性能，HDR-VDP-2评分更优，且在欠曝与过曝区域均实现了更优的视觉细节恢复。
• 用户评测与定性结果表明，该方法生成的HDR输出相比现有SOTA方法更具真实感与细节表现。