[论文解读] TransMatting: Tri-token Equipped Transformer Model for Image Matting

Huanqia Cai, Fanglei Xue+2 more|arXiv (Cornell University)|Mar 11, 2023

Image Enhancement Techniques被引用 4

一句话总结

该论文提出 TransMatting，一种基于视觉 Transformer 的图像抠图模型，引入了 tri-token（一种可学习的三元图语义标记表示，用于前景、背景和未知区域），以增强长距离特征学习，并提升对透明及非显著物体的性能。通过用 tri-token 注入替代传统的三元图拼接，该方法在 Composition-1k、AIM-500 和新构建的 Transparent-460 数据集等基准测试中取得最先进结果，相较于现有方法，MSE 最低降低 20%，SAD 最低降低 10%。

ABSTRACT

Image matting aims to predict alpha values of elaborate uncertainty areas of natural images, like hairs, smoke, and spider web. However, existing methods perform poorly when faced with highly transparent foreground objects due to the large area of uncertainty to predict and the small receptive field of convolutional networks. To address this issue, we propose a Transformer-based network (TransMatting) to model transparent objects with long-range features and collect a high-resolution matting dataset of transparent objects (Transparent-460) for performance evaluation. Specifically, to utilize semantic information in the trimap flexibly and effectively, we also redesign the trimap as three learnable tokens, named tri-token. Both Transformer and convolution matting models could benefit from our proposed tri-token design. By replacing the traditional trimap concatenation strategy with our tri-token, existing matting methods could achieve about 10% improvement in SAD and 20% in MSE. Equipped with the new tri-token design, our proposed TransMatting outperforms current state-of-the-art methods on several popular matting benchmarks and our newly collected Transparent-460.

研究动机与目标

• 为解决现有图像抠图方法在高度透明及非显著物体（如玻璃、烟雾、头发）上表现不佳的问题，这些物体因感受野有限且已知区域稀疏而难以建模。
• 克服传统三元图拼接在深层网络中的局限性，即难以有效捕捉长距离依赖关系与语义上下文。
• 设计一种新的、统一的三元图信息表示形式——tri-token，使前景、背景和未知区域的语义信息能更优地融入自注意力机制。
• 收集并发布一个高分辨率、专用于透明物体的图像数据集（Transparent-460），以更有效地评估和基准化抠图模型在真实世界复杂透明场景中的表现。

提出的方法

• 提出 tri-token，一种使用三个独立标记表示三元图中前景、背景和未知区域的可学习表征，替代传统与 RGB 输入拼接的方式。
• 将 tri-token 整合进视觉 Transformer 的自注意力机制中，实现图像全局范围内的、由注意力驱动的长距离依赖建模。
• 设计多尺度全局引导融合（MGF）模块，利用高层特征引导多尺度特征的融合，确保仅前景相关特征被传递至解码器。
• 采用 L1、L2 和结构损失的组合进行端到端训练，以优化 alpha 抠图预测。
• 通过在多个阶段注入 tri-token 机制，将该方法适配至卷积神经网络，实现在 Transformer 和 CNN 两类抠图架构中均获得性能提升。
• 收集并发布 Transparent-460 数据集，该数据集包含 460 张高分辨率图像，涵盖高度透明且非显著的物体，用于评估。

实验结果

研究问题

• RQ1 与感受野受限的 CNN 相比，基于视觉 Transformer 的架构是否能通过全局自注意力机制显著提升对透明及非显著物体的图像抠图性能？
• RQ2 将传统三元图拼接替换为可学习的 tri-token 表征，是否能增强特征学习能力并提升图像抠图模型的泛化性能？
• RQ3 tri-token 机制是否能有效应用于 Transformer 和卷积神经网络架构，从而提升整体性能？
• RQ4 该模型在训练中未见的真实世界透明物体（如玻璃或火焰）上是否具备良好泛化能力，尤其在复杂场景中？
• RQ5 所提出的 MGF 模块在多大程度上能减少背景噪声的影响，并改善不确定性区域的特征融合？

主要发现

• TransMattingV2 在 Composition-1k 基准测试中达到最先进性能，SAD 为 15.70，MSE 为 12.20，Grad 为 11.36，Conn 为 15.05；在 AIM-500 真实世界数据集上表现优于所有先前方法。
• 在新构建的 Transparent-460 测试集上，TransMattingV2 实现 SAD 181.94，MSE 18.37，Grad 40.99，Conn 159.53，展现出对高度透明物体的强大泛化能力。
• 将传统三元图拼接替换为 tri-token 后，多个最先进基线方法的 SAD 平均降低约 10%，MSE 平均降低约 20%。
• tri-token 机制使模型即使在复杂透明场景中也能聚焦于前景区域，注意力图可视化结果表明其能有效抑制背景响应。
• MGF 模块通过利用高层语义线索引导特征融合，有效减少了背景噪声的影响，提升了不确定区域的特征表示质量。
• 消融实验验证，tri-token 注入显著提升模型性能，尤其在已知像素极少的区域，证实其在长距离特征学习中的关键作用。