[论文解读] Natural Image Matting via Guided Contextual Attention

Yaoyi Li, Hongtao Lu|arXiv (Cornell University)|Jan 13, 2020

Image Enhancement Techniques参考文献 40被引用 6

一句话总结

本文提出了一种新颖的端到端深度学习方法，用于自然图像抠图，称为GCA Matting，该方法引入了引导上下文注意力（GCA）模块，利用低层次图像亲和力作为引导，实现高阶alpha特征的全局传播。该方法在Composition-1k和alphamatting.com基准测试中均取得了最先进性能，尤其在保留半透明区域的精细纹理和结构方面表现优异。

ABSTRACT

Over the last few years, deep learning based approaches have achieved outstanding improvements in natural image matting. Many of these methods can generate visually plausible alpha estimations, but typically yield blurry structures or textures in the semitransparent area. This is due to the local ambiguity of transparent objects. One possible solution is to leverage the far-surrounding information to estimate the local opacity. Traditional affinity-based methods often suffer from the high computational complexity, which are not suitable for high resolution alpha estimation. Inspired by affinity-based method and the successes of contextual attention in inpainting, we develop a novel end-to-end approach for natural image matting with a guided contextual attention module, which is specifically designed for image matting. Guided contextual attention module directly propagates high-level opacity information globally based on the learned low-level affinity. The proposed method can mimic information flow of affinity-based methods and utilize rich features learned by deep neural networks simultaneously. Experiment results on Composition-1k testing set and alphamatting.com benchmark dataset demonstrate that our method outperforms state-of-the-art approaches in natural image matting. Code and models are available at https://github.com/Yaoyi-Li/GCA-Matting.

研究动机与目标

• 为解决alpha抠图预测中半透明区域的模糊纹理和结构问题。
• 利用局部图像亲和力作为引导，在深度神经网络中实现全局透明度信息传播。
• 克服传统基于亲和力方法在高分辨率设置下计算成本过高的局限性。
• 结合基于亲和力的抠图与深度学习先验的优势，以提升抠图精度。
• 开发一种可扩展的端到端框架，高效处理全分辨率图像。

提出的方法

• 引导上下文注意力（GCA）模块基于学习到的低层次图像亲和力，实现全局alpha特征传输，其在全卷积网络中模拟了基于亲和力的抠图机制。
• GCA模块利用低层次图像特征作为引导，将具有相似外观的图像块之间的高阶alpha特征进行传播。
• 该方法将图像抠图视为一种引导修复任务，其中未知alpha区域通过已知前景/背景区域的0或1值，在图像引导下进行填充。
• 框架在编码器和解码器分支中均集成GCA模块，对图像特征和alpha特征进行独立处理。
• 采用残差连接和谱归一化以稳定训练并提升特征学习能力。
• 模型在Adobe Image Matting数据集上进行端到端训练，并在Composition-1k和alphamatting.com基准上进行评估。

实验结果

研究问题

• RQ1 基于局部图像外观的引导，能否提升半透明区域的抠图质量？
• RQ2 深度神经网络能否在保持计算效率的同时，有效模拟基于亲和力抠图的信息流动？
• RQ3 所提出的引导上下文注意力模块与现有抠图和修复任务中的注意力机制相比表现如何？
• RQ4 该方法在不同trimap尺寸下，尤其是大未知区域时，泛化能力如何？
• RQ5 该模型能否在不进行图像缩放的情况下实现高分辨率抠图，从而保留精细纹理细节？

主要发现

• 在Composition-1k基准上，GCA Matting在梯度误差（Gradient Error）和均方误差（MSE）指标上均达到最佳表现，优于以往最先进方法。
• 在alphamatting.com基准上，GCA Matting在梯度误差指标中排名第一，尤其在'large'和'user' trimap（未知区域较大）上表现尤为突出。
• 该方法可在单张NVIDIA GTX 1080（8GB）上实现全分辨率推理，无需图像缩放，从而更有效地保留了纹理细节。
• 注意力图的可视化结果证实，模型能够学习到从结构和外观相似的图像块（尤其是背景区域）传播透明度信息。
• 由于具备有效的上下文推理能力，该模型能正确预测塑料袋中复杂结构（如铁丝）的透明度，而此前方法在此类场景中失败。
• 该方法在不同类型的trimap下均保持强大性能，展现出对未知区域大小变化的鲁棒性。