[论文解读] Revisiting Deep Image Smoothing and Intrinsic Image Decomposition.

Qingnan Fan, David Wipf+2 more|arXiv (Cornell University)|Jan 11, 2017

Image Enhancement Techniques参考文献 2被引用 9

一句话总结

本文提出了一种用于固有图像分解的深度学习框架，采用共享的、与架构无关的网络结构，并结合数据集特定的灵活监督，实现了在多个基准测试中的最先进性能。通过在网络设计中利用松散的先验知识，并根据不同的标签类型（无论是密集的合成数据还是弱监督的自然数据）调整损失函数，该方法在准确率上表现更优，且推理速度显著快于以往方法。

ABSTRACT

While invaluable for many computer vision applications, decomposing a natural image into intrinsic reflectance and shading layers represents a challenging, underdetermined inverse problem. As opposed to strict reliance on conventional optimization or filtering solutions with strong prior assumptions, deep learning based approaches have also been proposed to compute intrinsic image decompositions when granted access to sufficient labeled training data. The downside is that current data sources are quite limited, and broadly speaking fall into one of two categories: either dense fully-labeled images in synthetic/narrow settings, or weakly-labeled data from relatively diverse natural scenes. In contrast to many previous learning-based approaches, which are often tailored to the structure of a particular dataset (and may not work well on others), we adopt core network structures that universally reflect loose prior knowledge regarding the intrinsic image formation process and can be largely shared across datasets. We then apply flexibly supervised loss layers that are customized for each source of ground truth labels. The resulting deep architecture achieves state-of-the-art results on all of the major intrinsic image benchmarks, and runs considerably faster than most at test time.

研究动机与目标

• 解决自然图像中固有图像分解作为欠定逆问题的挑战。
• 克服现有基于学习的方法在特定数据集或标签类型上紧密耦合的局限性。
• 开发一种统一的深度神经网络架构，以在具有不同标签监督的多样化数据集上实现泛化。
• 在保持或超越现有最先进性能的同时，提升推理速度。

提出的方法

• 设计一种核心深度网络架构，编码关于固有图像形成过程的松散先验知识，从而实现跨数据集的可迁移性。
• 应用数据集特定的、灵活监督的损失层，根据可用的真值类型进行定制——例如，对合成数据使用密集标签，对自然场景使用弱监督。
• 使用来自多样化来源的标注数据联合训练模型，包括具有不同监督水平的合成图像和真实世界自然图像。
• 在所有数据集中使用共享的编码器-解码器结构，以确保架构一致性并减少对单个数据分布的过拟合。
• 通过自适应损失加权优化网络，以平衡来自不同数据源的监督信号。
• 通过架构效率最小化计算复杂度，实现在保持高准确率的同时实现快速推理。

实验结果

研究问题

• RQ1 单一深度网络架构是否能在具有不同标签类型的多个固有图像基准上实现泛化？
• RQ2 基于不同标签格式（密集标签 vs. 弱标签）的灵活监督如何影响固有图像分解的性能？
• RQ3 与数据集特定模型相比，共享的架构先验在多大程度上能提升泛化能力和推理速度？
• RQ4 所提出的方法在标准基准测试中是否在准确率和速度方面均优于现有基于学习的方法？

主要发现

• 所提方法在所有主要固有图像基准测试中均实现了最先进性能，涵盖合成数据集和真实世界数据集。
• 该模型在推理阶段的运行速度显著快于大多数现有方法，支持实际部署。
• 灵活监督的使用使得在密集标签的合成数据和弱标签的自然图像数据上都能实现有效训练。
• 共享架构在无需为每个新数据集重新训练或重新设计架构的情况下，实现了良好的跨数据集泛化能力。
• 即使在有限或噪声较大的监督下训练，该框架仍能保持高准确率，表现出对标签变异的鲁棒性。
• 结果证实，编码在网络结构中的松散先验知识可显著提升性能与泛化能力，超越仅依赖任务特定设计的方案。