[论文解读] Shadow Optimization from Structured Deep Edge Detection

Shen Li, Teck Wee Chua+1 more|arXiv (Cornell University)|May 7, 2015

Video Surveillance and Tracking Methods参考文献 8被引用 25

一句话总结

本文提出了一种新颖的深度学习框架，用于单图阴影检测，结合了用于局部阴影边缘结构建模的结构化CNN与基于阴影/明亮度度量的全局最小二乘优化。通过利用局部结构一致性和非局部区域相互作用，该方法在基准数据集上实现了最先进性能，相比先前方法最高提升5%。

ABSTRACT

Local structures of shadow boundaries as well as complex interactions of image regions remain largely unexploited by previous shadow detection approaches. In this paper, we present a novel learning-based framework for shadow region recovery from a single image. We exploit the local structures of shadow edges by using a structured CNN learning framework. We show that using the structured label information in the classification can improve the local consistency of the results and avoid spurious labelling. We further propose and formulate a shadow/bright measure to model the complex interactions among image regions. The shadow and bright measures of each patch are computed from the shadow edges detected in the image. Using the global interaction constraints on patches, we formulate a least-square optimization problem for shadow recovery that can be solved efficiently. Our shadow recovery method achieves state-of-the-art results on the major shadow benchmark databases collected under various conditions.

研究动机与目标

• 解决由于复杂光照和几何因素导致的单图阴影检测中不一致和噪声问题。
• 通过建模相邻阴影边缘之间的结构化关系，改善阴影边界预测的局部一致性。
• 通过引入具有非局部区域约束的全局优化框架，克服单变量分类器和CRF后处理方法的局限性。
• 开发一种鲁棒且高效的阴影恢复方法，适用于包括室内、室外和航拍图像在内的多样化场景。
• 实现对传统方法失效区域（如柔和阴影、低光照区域和自遮挡区域）的准确检测。

提出的方法

• 采用结构化CNN（strCNN），预测表示局部5×5阴影边缘结构的25×1二值向量，捕捉如线条、曲线和角落等空间模式。
• 将阴影边缘检测建模为结构化标注问题，利用邻域标签依赖关系提升局部一致性并减少误检。
• 基于与检测到的阴影和明亮边界连通性，为每个图像块定义阴影度量和明亮度度量，以建模长程区域相互作用。
• 构建一个最小二乘优化问题，利用阴影/明亮度度量引入全局非局部约束，确保阴影图的一致性恢复。
• 通过闭式解高效求解优化问题，实现线性时间复杂度，避免CRF/GBP/MRF推理带来的计算负担。
• 将结构化CNN与全局优化整合为端到端流水线：边缘检测 → 度量计算 → 阴影图恢复。

实验结果

研究问题

• RQ1 与标准单变量分类相比，结构化深度学习能否提升阴影边缘检测中的局部一致性？
• RQ2 如何有效建模非局部区域相互作用（尤其是阴影区域与明亮区域之间）以提升阴影检测性能？
• RQ3 基于阴影/明亮度度量的全局优化框架能否在准确性和效率上超越基于CRF的后处理方法？
• RQ4 所提方法在包括柔和阴影、色偏和复杂自遮挡在内的多样化真实场景中是否具备泛化能力？
• RQ5 引入局部结构先验在多大程度上提升了基准数据集上的检测性能？

主要发现

• 所提SCNN-LinearOpt方法在UCF数据集上达到93.1%的准确率（子集为92.3%），优于Khan等人（2017）的先前最先进水平90.7%。
• 在CMU数据集上，该方法达到94.0%的准确率，较先前最先进水平88.8%提升5.2%。
• 在UIUC数据集上，该方法达到93.4%的准确率，超过先前最先进水平93.2%。
• 在UCF上实现91.1%的阴影检测准确率，在CMU上达到91.6%，在各类别性能上显著优于竞争方法。
• 定性结果表明，该方法在柔和阴影、低光照条件和模糊色彩区域等挑战性情形下均表现出强鲁棒性。
• AUC比较结果证实性能更优，三组基准数据集（UCF、UIUC、CMU）中AUC均最高。