[论文解读] Restoring Images Captured in Arbitrary Hybrid Adverse Weather Conditions in One Go

Yecong Wan, Mingwen Shao+3 more|arXiv (Cornell University)|May 17, 2023

Image Enhancement Techniques被引用 4

一句话总结

本文提出 RAHC，一种统一的深度学习框架，可在单次推理中恢复由任意混合恶劣天气条件（如雨雾夜）导致退化的图像。通过结合多头聚合模块以实现多子空间退化表征、重建向量以提供内容引导，以及输出空间判别以提升泛化能力，RAHC 在新构建的 316K 对数据集（HAC）和传统基准上均达到最先进性能，显著优于先前方法。

ABSTRACT

Adverse conditions typically suffer from stochastic hybrid weather degradations (e.g., rainy and hazy night), while existing image restoration algorithms envisage that weather degradations occur independently, thus may fail to handle real-world complicated scenarios. Besides, supervised training is not feasible due to the lack of a comprehensive paired dataset to characterize hybrid conditions. To this end, we have advanced the aforementioned limitations with two tactics: framework and data. First, we present a novel unified framework, dubbed RAHC, to Restore Arbitrary Hybrid adverse weather Conditions in one go. Specifically, our RAHC leverages a multi-head aggregation architecture to learn multiple degradation representation subspaces and then constrains the network to flexibly handle multiple hybrid adverse weather in a unified paradigm through a discrimination mechanism in the output space. Furthermore, we devise a reconstruction vectors aided scheme to provide auxiliary visual content cues for reconstruction, thus can comfortably cope with hybrid scenarios with insufficient remaining image constituents. Second, we construct a new dataset, termed HAC, for learning and benchmarking arbitrary Hybrid Adverse Conditions restoration. HAC contains 31 scenarios composed of an arbitrary combination of five common weather, with a total of ~316K adverse-weather/clean pairs. Extensive experiments yield superior results and establish new state-of-the-art results on both HAC and conventional datasets.

研究动机与目标

• 解决缺乏统一模型来恢复由多种恶劣天气条件（如雨、雾、雪、夜间、雨滴）任意组合导致退化图像的问题。
• 克服现有方法仅针对单一或特定配对退化进行处理的局限，这些方法在真实世界中随机混合的恶劣条件下表现不佳。
• 开发一种可扩展、数据高效的训练流程，用于生成多样化的混合退化图像对，而无需昂贵的人工标注。
• 建立一个全面的基准数据集（HAC），包含约 316K 对图像，覆盖 31 种混合天气场景，以实现对泛化能力和鲁棒性的严格评估。

提出的方法

• RAHC 采用多头混合块（MHBB），利用卷积与注意力机制的混合方式，学习多个退化表征子空间，实现对复杂且重叠的天气退化现象的联合建模。
• 引入重建向量——在自然图像上预训练的离散码本嵌入——以提供辅助视觉内容线索，在图像细节严重受损时提升重建保真度。
• 设计了一种新颖的输出空间判别（OSD）机制，通过在网络输出上训练多标签分类器，强制实现退化无关的恢复能力，从而促进对未见混合条件的泛化。
• HAC 数据集通过 AdverseGAN 构建，该生成模型被训练以隐式学习退化模式，从而实现自动化、低成本地生成多样化混合天气图像对。
• 训练数据通过 AdverseGAN 生成的图像进行增强，这些图像被证明可靠且高效，将标注成本从每张 GPU 约 1 个月降低至约 10 分钟。
• 该框架与现有最先进架构（如 Restormer、NAFNet）兼容，OSD 可无缝集成，以在端到端恢复设置中提升性能。

Figure 1: Overview of adverse conditions restoration frameworks. (a) Separate networks designed for specific tasks; (b) generic networks with task-specific weights; (c) unified all-in-one networks with single trained weights; (d) our proposed RAHC framework. In contrast to existing approaches that a

实验结果

研究问题

• RQ1 单一深度学习模型是否能有效恢复由多种恶劣天气条件任意组合导致的退化图像，而非仅限于单一或预定义的配对？
• RQ2 当图像内容严重退化、残余结构几乎消失时，模型如何维持高重建质量？
• RQ3 像 AdverseGAN 这类生成模型在无需人工标注数据的情况下，能在多大程度上生成真实、多样且可靠的混合退化图像对用于训练？
• RQ4 在实现对未见混合天气场景的泛化方面，输出空间判别是否优于传统的特征级或知识蒸馏策略？
• RQ5 在合成的、多样化的数据集上进行训练的统一框架，能否有效泛化到真实世界中复杂多变的恶劣天气条件？

主要发现

• 在 HAC 数据集上，RAHC 达到 22.92 的 PSNR，显著优于先前最先进方法（如 TKL 的 21.30 和 Restormer+TKL 的 21.14），证明其卓越的恢复质量。
• 所提出的输出空间判别（OSD）方案在应用于 NAFNet 时，PSNR 最高提升 0.53，优于知识蒸馏策略（TKL），在 PSNR 和 SSIM 提升方面均表现更优。
• 在 AdverseGAN 生成数据上训练的模型达到 PSNR 19.12，与在真实数据上训练的模型（PSNR 19.16）性能相当，验证了合成数据流程的可靠性和高效性。
• HAC 数据集包含 316K 对图像，覆盖 31 种混合天气组合，可实现对泛化能力的稳健评估，揭示真实世界条件通常涉及多种退化同时发生。
• 在真实世界图像上的视觉结果表明，RAHC 生成了逼真、高保真的输出，证实其在实际部署场景中的鲁棒性和实用性。
• 重建向量的引入显著提升了视觉质量与结构一致性，尤其在内容稀疏场景中（纹理和边缘信息基本丧失时）表现更优。

Figure 2: Illustration of the proposed RAHC architecture. The restoration network consists of an encoder, a decoder, and a feature mapping subnetwork. The mapping network first maps the encoded feature to the latent clean space and then locates the reconstruction vectors in the pre-established Codeb