[论文解读] ReLLIE: Deep Reinforcement Learning for Customized Low-Light Image Enhancement

Rongkai Zhang, Lanqing Guo+2 more|arXiv (Cornell University)|Jul 13, 2021

Image Enhancement Techniques参考文献 29被引用 7

一句话总结

ReLLIE 提出了一种基于深度强化学习的定制化低光照图像增强框架，通过将增强过程建模为顺序性、基于策略的曲线估计过程。它采用非参考损失函数和轻量级网络，学习一种随机策略，实现在无配对训练数据情况下的灵活、用户自适应增强，进而在零样本和无监督设置下达到最先进性能。

ABSTRACT

Low-light image enhancement (LLIE) is a pervasive yet challenging problem, since: 1) low-light measurements may vary due to different imaging conditions in practice; 2) images can be enlightened subjectively according to diverse preferences by each individual. To tackle these two challenges, this paper presents a novel deep reinforcement learning based method, dubbed ReLLIE, for customized low-light enhancement. ReLLIE models LLIE as a markov decision process, i.e., estimating the pixel-wise image-specific curves sequentially and recurrently. Given the reward computed from a set of carefully crafted non-reference loss functions, a lightweight network is proposed to estimate the curves for enlightening of a low-light image input. As ReLLIE learns a policy instead of one-one image translation, it can handle various low-light measurements and provide customized enhanced outputs by flexibly applying the policy different times. Furthermore, ReLLIE can enhance real-world images with hybrid corruptions, e.g., noise, by using a plug-and-play denoiser easily. Extensive experiments on various benchmarks demonstrate the advantages of ReLLIE, comparing to the state-of-the-art methods.

研究动机与目标

• 为解决现有单对单图像转换方法在低光照图像增强（LLIE）中的局限性，这些方法无法处理多变的光照条件和用户偏好。
• 开发一种支持定制化增强的方法，通过灵活控制增强步骤数量，实现用户特定的结果。
• 通过在强化学习框架中利用非参考损失函数作为奖励信号，消除对配对或非配对训练数据的需求。
• 通过将即插即用去噪器集成到增强流水线中，提升对混合退化（如噪声）的鲁棒性。
• 通过引入新型组件（如通道比恒定损失CRL和通道相关动量更新CDMU），提升模型稳定性和视觉质量。

提出的方法

• ReLLIE 将低光照图像增强建模为马尔可夫决策过程，其中策略网络在多个步骤中按顺序估计图像特定的二阶曲线。
• 策略通过一个轻量级全卷积网络学习，该网络以循环方式处理输入图像并输出增强曲线。
• 使用一组损失函数（包括提出的通道比恒定损失CRL）构建非参考奖励函数，以在无真实标签监督下指导训练。
• 引入通道相关动量更新（CDMU）模块，通过按通道自适应调整动量来稳定训练，提升颜色一致性。
• 在后处理阶段集成增强引导细化（RF）模块，以抑制加性噪声，实现对混合退化问题的有效处理。
• 通过在推理时允许任意数量的增强步骤（即使超过训练时的步数），支持零样本和无监督推理。

实验结果

研究问题

• RQ1 与单对单转换模型相比，深度强化学习框架是否能在低光照图像增强中实现更好的定制化？
• RQ2 非参考损失函数是否能有效训练强化学习代理，实现在无配对训练数据下的低光照增强？
• RQ3 所提出的基于策略的方法是否能通过灵活的步骤数控制，处理不同程度的图像退化和用户偏好？
• RQ4 CRL、CDMU和RF等新型组件在提升视觉质量和鲁棒性方面的有效性如何？
• RQ5 ReLLIE 是否能泛化到包含噪声和低光照等混合退化的实际图像？

主要发现

• 当所有组件（CRL、CDMU、RF）均启用时，ReLLIE 在 LOL 数据集上达到 19.52 dB 的 PSNR，显著优于基线的 7.76 dB。
• CRL 和 CDMU 的引入减少了颜色偏差，SSIM 从 0.3798 提升至 0.8268，表明颜色保真度显著增强。
• RF 模块能有效去除噪声，定性对比显示，启用 RF 的 ReLLIE 结果比未启用时更锐利、更干净。
• 在 LIME 数据集上的用户研究显示，65% 的参与者更偏好 ReLLIE 而非 Zero-DCE 和 EnlightenGAN，尤其在 N=4 和 N=6 增强步骤时表现更优。
• ReLLIE 在零样本和无监督 LLIE 基准测试中达到最先进性能，优于依赖配对或非配对数据的方法。
• 该框架支持推理时任意增强步骤数，实现真正定制化——例如，即使训练时使用 N=6 步，也可对图像进行 N=8 步增强。