[论文解读] ShadowFormer: Global Context Helps Image Shadow Removal

Lanqing Guo, Siyu Huang+3 more|arXiv (Cornell University)|Feb 3, 2023

Image Enhancement Techniques被引用 14

一句话总结

ShadowFormer 是一个轻量级的基于变换器的网络，具 Retinex 启发的阴影模型和 Shadow-Interaction Module，它利用非阴影区域的全局上下文来还原阴影区域，在 ISTD、ISTD+ 和 SRD 数据集上实现了参数显著更少的情况下的最先进成果。

ABSTRACT

Recent deep learning methods have achieved promising results in image shadow removal. However, most of the existing approaches focus on working locally within shadow and non-shadow regions, resulting in severe artifacts around the shadow boundaries as well as inconsistent illumination between shadow and non-shadow regions. It is still challenging for the deep shadow removal model to exploit the global contextual correlation between shadow and non-shadow regions. In this work, we first propose a Retinex-based shadow model, from which we derive a novel transformer-based network, dubbed ShandowFormer, to exploit non-shadow regions to help shadow region restoration. A multi-scale channel attention framework is employed to hierarchically capture the global information. Based on that, we propose a Shadow-Interaction Module (SIM) with Shadow-Interaction Attention (SIA) in the bottleneck stage to effectively model the context correlation between shadow and non-shadow regions. We conduct extensive experiments on three popular public datasets, including ISTD, ISTD+, and SRD, to evaluate the proposed method. Our method achieves state-of-the-art performance by using up to 150X fewer model parameters.

研究动机与目标

• 以基于 Retinex 的劣化模型来驱动阴影去除，突出阴影区域与非阴影区域之间的全局上下文。
• 开发一个用于端到端阴影去除的轻量级通道注意力 Transformer（ShadowFormer）。
• 引入带有 Shadow-Interaction Attention (SIA) 的 Shadow-Interaction Module (SIM)，以建模跨区域上下文。
• 将瓶颈处的全局上下文与局部结构信息融合，以保持照明一致性并减少边界伪影。
• 在 ISTD、ISTD+ 和 SRD 上显示出显著更少参数量的同时达到最先进的性能。

提出的方法

• 采用基于 Retinex 的阴影模型来表述劣化并引导恢复。
• 使用通道注意力 Transformer 编码器-解码器作为多尺度架构以捕获全局信息。
• 在瓶颈阶段嵌入 Shadow-Interaction Module (SIM) 通过 Shadow-Interaction Attention (SIA) 来利用跨区域上下文。
• 在阴影区域和非阴影区域之间应用补丁级相关图以在窗口内重新加权注意力（SIA）。
• 使用单一的 L1 损失进行像素级一致性训练，并探索两种模型尺寸（Ours-Small 与 Ours-Large）。

实验结果

研究问题

• RQ1 基于 Retinex 的表述是否能够揭示并利用全局阴影上下文线索来进行恢复？
• RQ2 带有 Shadow-Interaction 机制的轻量级变换器是否能有效利用非阴影区域来改进阴影区域的恢复？
• RQ3 Shadow-Interaction Attention 对边界伪影以及照明/色彩的一致性有何影响？
• RQ4 在 ISTD、ISTD+ 和 SRD 上，ShadowFormer 在准确性和参数效率方面与最先进方法相比如何？

主要发现

数据集	模型	阴影 PSNR	阴影 SSIM	阴影 RMSE	非阴影 PSNR	非阴影 SSIM	非阴影 RMSE	整图像 PSNR	整图像 SSIM	整图像 RMSE
ISTD	Ours-Small	37.99	0.990	6.16	33.89	0.980	3.90	31.81	0.967	4.27
ISTD	Ours-Large	38.19	0.991	5.96	34.32	0.981	3.72	32.21	0.968	4.09
ISTD+	Ours-Small	39.53	0.988	6.05	38.67	0.986	3.55	35.42	0.955	2.80
ISTD+	Ours-Large	39.67	0.989	5.82	38.82	0.989	3.44	35.46	0.958	2.80
SRD	Ours-Small	36.13	0.988	6.05	31.88	0.952	4.59	32.38	0.955	4.09
SRD	Ours-Large	36.91	0.989	5.92	32.20	0.953	4.44	32.90	0.958	4.04

• ShadowFormer 在 ISTD、ISTD+ 和 SRD 数据集上实现了最先进的性能。
• 该模型在提供优越结果的同时，参数量比竞争的深度模型少最多 150 倍。
• Shadow-Interaction Module 与 Shadow-Interaction Attention 能够有效利用非阴影区域来还原阴影区域并保持照明的一致性。
• 在 Retinex 基础框架下，单阶段带多尺度通道注意力的变换器可实现无痕迹的重建并降低边界伪影。
• 消融研究表明 CA Transformer 和 SIM/SIA 组件对减少伪影和达到上下文定界具有关键作用。