[论文解读] Mutual Information-driven Triple Interaction Network for Efficient Image Dehazing

Hao Shen, Zhong‐Qiu Zhao+2 more|arXiv (Cornell University)|Aug 14, 2023

Image Enhancement TechniquesComputer Science被引用 3

一句话总结

该论文提出MITNet，一种基于互信息驱动的两阶段去雾网络，通过先恢复振幅谱再优化相位谱，利用空间-频率双重域先验。它引入了自适应三重交互模块（ATIM），实现跨域、跨尺度和跨阶段的特征融合，并采用互信息最小化策略减少冗余，从而在公开基准上实现SOTA性能且模型复杂度更低。

ABSTRACT

Multi-stage architectures have exhibited efficacy in image dehazing, which usually decomposes a challenging task into multiple more tractable sub-tasks and progressively estimates latent hazy-free images. Despite the remarkable progress, existing methods still suffer from the following shortcomings: (1) limited exploration of frequency domain information; (2) insufficient information interaction; (3) severe feature redundancy. To remedy these issues, we propose a novel Mutual Information-driven Triple interaction Network (MITNet) based on spatial-frequency dual domain information and two-stage architecture. To be specific, the first stage, named amplitude-guided haze removal, aims to recover the amplitude spectrum of the hazy images for haze removal. And the second stage, named phase-guided structure refined, devotes to learning the transformation and refinement of the phase spectrum. To facilitate the information exchange between two stages, an Adaptive Triple Interaction Module (ATIM) is developed to simultaneously aggregate cross-domain, cross-scale, and cross-stage features, where the fused features are further used to generate content-adaptive dynamic filters so that applying them to enhance global context representation. In addition, we impose the mutual information minimization constraint on paired scale encoder and decoder features from both stages. Such an operation can effectively reduce information redundancy and enhance cross-stage feature complementarity. Extensive experiments on multiple public datasets exhibit that our MITNet performs superior performance with lower model complexity.The code and models are available at https://github.com/it-hao/MITNet.

研究动机与目标

• 解决现有图像去雾方法中对频域信息探索有限的问题。
• 提升多阶段去雾架构中跨阶段与跨尺度的特征交互能力。
• 通过阶段间显式互补学习减少特征冗余。
• 利用自适应、上下文感知的特征调制增强表征能力。
• 在降低模型复杂度的前提下实现SOTA性能。

提出的方法

• 网络采用两阶段设计：第一阶段恢复雾霾图像的振幅谱以去除雾霾，第二阶段优化相位谱以增强结构细节。
• 自适应三重交互模块（ATIM）聚合跨域（空间/频率）、跨尺度和跨阶段的特征，生成内容自适应的动态滤波器。
• 将动态滤波器应用于解码器特征，通过自适应特征调制增强全局上下文表征。
• 在两阶段的配对编码器-解码器特征上施加互信息约束（MIC），以最小化冗余并促进互补学习。
• 将傅里叶域先验——振幅用于去雾，相位用于结构优化——整合进统一的渐进式框架中。
• MIC仅在训练阶段应用，避免推理开销，确保效率且不增加参数量。

实验结果

研究问题

• RQ1 将雾霾去除过程分离为振幅谱与相位谱恢复，是否能提升去雾性能？
• RQ2 如何有效融合跨域（空间/频率）、跨尺度与跨阶段的特征以增强表征能力？
• RQ3 基于多层级特征交互生成的自适应、内容感知滤波器，是否能提升特征优化效果？
• RQ4 阶段间特征的互信息最小化是否能减少冗余并提升特征互补性？
• RQ5 两阶段、双域架构能否在降低模型复杂度的前提下实现SOTA结果？

主要发现

• MITNet在基准数据集上PSNR超过40 dB，是首个实现该指标的模型，展现出SOTA性能。
• 消融实验证明，同时使用ATIM与MIC相比基线模型可提升1.77 dB PSNR，证实其有效性。
• 移除ATIM或MIC会导致结果中出现明显的纹理与对比度失真，表明二者在特征质量中起关键作用。
• 可视化显示，MIC有效降低特征冗余，使特征图更具互补性且重叠更少。
• 模型保持低复杂度与快速推理速度，且MIC在推理阶段不引入额外参数或计算开销。
• 直方图与特征可视化表明，MITNet生成的输出在光照、色彩与纹理分布上更接近清晰图像。