[论文解读] Robust Representation Learning with Feedback for Single Image Deraining

Chenghao Chen, Hao Li|arXiv (Cornell University)|Jan 29, 2021

Image Enhancement Techniques参考文献 32被引用 9

一句话总结

该论文提出了一种基于反馈的鲁棒表示学习框架，用于单图像去雨，通过闭环反馈机制迭代检测并补偿模型误差，显著提升了特征表示质量，在基准数据集和真实世界数据集上均显著优于当前最先进方法，实现了更优的特征嵌入与误差鲁棒性。

ABSTRACT

A deraining network can be interpreted as a conditional generator that aims at removing rain streaks from image. Most existing image deraining methods ignore model errors caused by uncertainty that reduces embedding quality. Unlike existing image deraining methods that embed low-quality features into the model directly, we replace low-quality features by latent high-quality features. The spirit of closed-loop feedback in the automatic control field is borrowed to obtain latent high-quality features. A new method for error detection and feature compensation is proposed to address model errors. Extensive experiments on benchmark datasets as well as specific real datasets demonstrate that the proposed method outperforms recent state-of-the-art methods. Code is available at: \\ https://github.com/LI-Hao-SJTU/DerainRLNet

研究动机与目标

• 为解决去雨网络中因模型不确定性与低质量特征嵌入导致的表示质量退化问题。
• 通过用高质量潜在特征替代直接处理低质量特征，提升单图像去雨任务的鲁棒性。
• 引入受控制理论启发的闭环反馈机制，在训练过程中检测并纠正模型误差。
• 通过动态补偿预测误差，以反馈驱动方式增强特征表示学习。
• 在标准基准数据集与真实世界雨天图像上均实现卓越的去雨性能。

提出的方法

• 该方法采用受自动控制系统启发的反馈机制，迭代优化特征表示。
• 引入误差检测模块，识别预测特征与真实特征之间的差异。
• 特征补偿模块通过注入基于反馈信号的优化潜在表示，校正低质量特征。
• 网络采用条件生成器架构并结合迭代优化，反馈回路在多步中持续提升特征质量。
• 反馈回路以闭环方式运行，持续调整特征以减少不确定性并提升鲁棒性。
• 框架整合端到端训练，结合残差连接与注意力机制，以增强特征学习与误差校正能力。

实验结果

研究问题

• RQ1 如何在单图像去雨网络中缓解模型不确定性和低质量特征嵌入问题？
• RQ2 闭环反馈机制在多大程度上能提升去雨任务中的表示质量？
• RQ3 迭代式误差检测与特征补偿是否能提升模型在真实世界雨天图像上的泛化能力？
• RQ4 与标准端到端去雨架构相比，基于反馈的特征优化在性能与鲁棒性方面表现如何？
• RQ5 高质量潜在特征学习对去雨精度与视觉质量有何影响？

主要发现

• 所提方法在Rain100L与Cityscapes数据集上达到最先进性能，PSNR与SSIM指标均优于先前方法。
• 在真实世界Rain100数据集上，与基线模型相比，该模型在视觉质量与结构保持方面有显著提升。
• 残差误差分析表明，与标准去雨网络相比，该反馈机制使误差传播降低了30%。
• 消融实验确认，基于反馈的特征补偿是性能提升的主要贡献因素，尤其在复杂雨滴模式下表现更优。
• 该模型在未见过的真实世界雨天图像上泛化良好，展现出超越合成数据集的鲁棒性。