[论文解读] RIDCP: Revitalizing Real Image Dehazing via High-Quality Codebook Priors

Ruiqi Wu, Zheng-Peng Duan+3 more|arXiv (Cornell University)|Apr 8, 2023

Image Enhancement Techniques被引用 10

一句话总结

RIDCP 引入来自预训练 VQGAN 的高质量代码本先验和可控 HQPs 匹配机制，以提升真实图像去雾，以及一个现象学降解管线用于合成真实的有雾数据。

ABSTRACT

Existing dehazing approaches struggle to process real-world hazy images owing to the lack of paired real data and robust priors. In this work, we present a new paradigm for real image dehazing from the perspectives of synthesizing more realistic hazy data and introducing more robust priors into the network. Specifically, (1) instead of adopting the de facto physical scattering model, we rethink the degradation of real hazy images and propose a phenomenological pipeline considering diverse degradation types. (2) We propose a Real Image Dehazing network via high-quality Codebook Priors (RIDCP). Firstly, a VQGAN is pre-trained on a large-scale high-quality dataset to obtain the discrete codebook, encapsulating high-quality priors (HQPs). After replacing the negative effects brought by haze with HQPs, the decoder equipped with a novel normalized feature alignment module can effectively utilize high-quality features and produce clean results. However, although our degradation pipeline drastically mitigates the domain gap between synthetic and real data, it is still intractable to avoid it, which challenges HQPs matching in the wild. Thus, we re-calculate the distance when matching the features to the HQPs by a controllable matching operation, which facilitates finding better counterparts. We provide a recommendation to control the matching based on an explainable solution. Users can also flexibly adjust the enhancement degree as per their preference. Extensive experiments verify the effectiveness of our data synthesis pipeline and the superior performance of RIDCP in real image dehazing.

研究动机与目标

• 通过解决成对真实数据缺乏和鲁棒先验的问题来推动真实世界的去雾。
• 提出一个现象学降解管线，以在多样的退化类型中合成真实的有雾图像。
• 利用预训练的 VQGAN 代码本，将高质量先验注入到去雾网络中。
• 开发一个可控的 HQPs 匹配机制，以缩小合成与真实域之间的差距。
• 引入一个归一化特征对齐模块，将 HQP 派生的特征与真实域特征融合。

提出的方法

• 在高质量数据上预训练 VQGAN，以获得离散 HQP 代码本及相应的解码器。
• 用匹配 HQP 的编码器和利用 HQP 感知特征的解码器来训练 RIDCP。
• 使用标准化特征对齐 (NFA) 通过可变形卷积和自适应缩放将 VQGAN 派生的特征与真实去雾特征对齐和均衡。
• 实现可控 HQPs 匹配 (CHM) 以通过参数 alpha 在匹配时重新加权 HQP-单元距离。
• 将 CHM 权重定义为 F(f̃k, α)=exp(a·f̃k) 以控制 HQP 激活影响，其中 f̃k 是雾霾与清晰激活之间的频率差。
• 采用两阶段训练：(1) 在 HQP 数据上训练 VQGAN；(2) 在由现象学管线生成的合成有雾数据上训练 RIDCP。

Figure 1 : Visual comparisons on a typical hazy image. The proposed method generates cleaner results than other two state-of-the-art real image dehazing approaches. The enhancement degree of our result can be flexibly adjusted by adopting different parameters in the real-domain adaptation phase. The

实验结果

研究问题

• RQ1 来自预训练 VQGAN 的高质量代码本先验是否能提升真实图像去雾的性能？
• RQ2 可控的 HQPs 匹配机制是否能缓解合成与真实域之间的差距，并实现可调的去雾强度？
• RQ3 现象学降解管线如何影响合成有雾数据的真实感以及后续去雾性能？
• RQ4 归一化特征对齐对基于 HQP 的去雾在质量与稳定性上的影响？
• RQ5 能否估计出最优增强度 (α)，以接近自然、无伪影的去雾结果？

主要发现

• RIDCP 在 RTTS 上取得了对比方法中最佳的 BRISQUE 和 NIMA 分数，表明感知质量优越。
• RIDCP 达到接近最好的一系列 FADE，并在用户研究偏好方面显著较高，表明在真实场景具备强性能。
• 定性结果显示，与最先进的真实图像去雾方法相比，RIDCP 输出更亮、更丰富的色彩，雾气更少。
• CHM 通过改变 α 实现可调的增强，推荐 α（≈21.25）在所报道的示例中产生自然结果。
• 精心设计的归一化特征对齐 (NFA) 对降低纹理伪影、平衡 HQP 派生特征与主网络特征至关重要。
• 在合成数据上训练时，现象学降解管线显著提升性能，更好地泛化到真实有雾图像。

Figure 2 : Overview of our RIDCP. During the training phase, we train the dehazing network on the data synthesized by our data generation pipeline, as illustrated in (a). The network is based on the pre-trained HQPs codebook and the corresponding decoder $\mathbf{G}_{vq}$ of VQGAN. We also design th