[论文解读] Shadow Removal via Shadow Image Decomposition

Hieu Lê, Dimitris Samaras|arXiv (Cornell University)|Aug 23, 2019

Image Enhancement Techniques参考文献 41被引用 4

一句话总结

该论文提出了一种基于物理光照模型的深度学习框架用于去阴影，通过图像分解估计阴影参数和遮罩（matte），采用两个网络（SP-Net 和 M-Net）实现。借助此分解方法，该方法在 ISTD 数据集上实现了最先进性能，将阴影区域的 RMSE 从 13.3 降低至 7.4，通过模型优化与数据增强双重策略实现。

ABSTRACT

We propose a novel deep learning method for shadow removal. Inspired by physical models of shadow formation, we use a linear illumination transformation to model the shadow effects in the image that allows the shadow image to be expressed as a combination of the shadow-free image, the shadow parameters, and a matte layer. We use two deep networks, namely SP-Net and M-Net, to predict the shadow parameters and the shadow matte respectively. This system allows us to remove the shadow effects on the images. We train and test our framework on the most challenging shadow removal dataset (ISTD). Compared to the state-of-the-art method, our model achieves a 40% error reduction in terms of root mean square error (RMSE) for the shadow area, reducing RMSE from 13.3 to 7.9. Moreover, we create an augmented ISTD dataset based on an image decomposition system by modifying the shadow parameters to generate new synthetic shadow images. Training our model on this new augmented ISTD dataset further lowers the RMSE on the shadow area to 7.4.

研究动机与目标

• 解决单幅图像中真实阴影去除的挑战，因为阴影会降低计算机视觉任务的性能。
• 通过引入物理光照模型，克服端到端深度学习方法产生的模糊或伪影问题。
• 开发一种全自动、完全监督的方法，无需人工干预即可估计阴影参数和遮罩。
• 通过参数调节生成合成阴影图像以实现数据增强，提升模型泛化能力。
• 在具有挑战性的 ISTD 基准数据集上实现去阴影任务的最先进性能。

提出的方法

• 使用每通道线性光照变换建模阴影形成：$I^\text{darkened}_i = (I^\text{shadow-free}_i - b) \cdot w^{-1}$，其中 $w$ 和 $b$ 为阴影参数。
• 使用 SP-Net（一个深度神经网络）从输入阴影图像中预测阴影参数 $w$ 和 $b$。
• 使用 M-Net（第二个深度网络）预测阴影遮罩 $\alpha$，该遮罩控制阴影区域与重光照区域之间的逐像素混合。
• 通过图像分解重建无阴影图像：$I^\text{shadow-free} = I^\text{shadow} \cdot \alpha + I^\text{darkened} \cdot (1 - \alpha)$，其中 $I^\text{darkened}$ 使用估计的 $w$ 和 $b$ 重新光照。
• 通过调整缩放因子 $w$ 生成合成阴影图像：$w_{\text{syn}} = w \times k$，其中 $k \in \{0.8, 0.9, 1.1, 1.2\}$，生成增强的训练数据。
• 在原始 ISTD 数据集及增强后的数据集上联合训练 SP+M-Net 系统，以提升泛化能力与性能。

实验结果

研究问题

• RQ1 基于简化的物理光照模型的深度学习框架是否能在去阴影质量上超越端到端深度学习方法？
• RQ2 能否在完全自动化、端到端的框架下，通过深度网络准确预测阴影参数与遮罩？
• RQ3 所提出的生成真实感合成阴影图像的方法在数据增强中效果如何？
• RQ4 通过参数化阴影编辑实现的数据增强是否能提升模型泛化能力并降低基准数据集上的误差？
• RQ5 与仅使用单一组件相比，参数估计与遮罩预测相结合对去阴影性能有何影响？

主要发现

• 所提出的 SP+M-Net 框架在阴影区域的均方根误差（RMSE）上相比之前最先进方法降低了 40%，RMSE 从 13.3 降低至 7.9。
• 在通过修改阴影参数生成的增强 ISTD 数据集上进行训练，进一步将阴影区域的 RMSE 降低至 7.4，较基础模型提升 6%。
• 仅使用 SP-Net 时，阴影区域的 RMSE 提升了 29%（从 13.3 降至 9.5），证明了在无需遮罩预测的情况下参数估计的有效性。
• 该方法通过避免直接逐像素预测，生成高质量、无伪影的结果，有效保留图像细节与色彩保真度。
• 所提出的数据增强策略通过生成 5320 张合成图像，使训练集规模扩大四倍，显著提升了模型鲁棒性。
• 定性对比显示，该方法在去阴影结果的逼真度与一致性上优于先前最先进方法，包括 Guo 等人、Yang 等人、Gong 等人及 Wang 等人提出的方法。