[论文解读] TBNet:Two-Stream Boundary-aware Network for Generic Image Manipulation Localization

Zan Gao, Chao Sun+4 more|arXiv (Cornell University)|Aug 10, 2021

Digital Media Forensic Detection参考文献 33被引用 5

一句话总结

本文提出TBNet，一种端到端的双流边界感知网络，通过自适应融合与边界伪影定位，联合建模RGB和频域特征，用于通用图像篡改定位。该方法在基准数据集上的表现达到当前最先进水平，相较于先前方法，MCC和F1分别提升最高达11.6%和11.1%。

ABSTRACT

Finding tampered regions in images is a hot research topic in machine learning and computer vision. Although many image manipulation location algorithms have been proposed, most of them only focus on the RGB images with different color spaces, and the frequency information that contains the potential tampering clues is often ignored. In this work, a novel end-to-end two-stream boundary-aware network (abbreviated as TBNet) is proposed for generic image manipulation localization in which the RGB stream, the frequency stream, and the boundary artifact location are explored in a unified framework. Specifically, we first design an adaptive frequency selection module (AFS) to adaptively select the appropriate frequency to mine inconsistent statistics and eliminate the interference of redundant statistics. Then, an adaptive cross-attention fusion module (ACF) is proposed to adaptively fuse the RGB feature and the frequency feature. Finally, the boundary artifact location network (BAL) is designed to locate the boundary artifacts for which the parameters are jointly updated by the outputs of the ACF, and its results are further fed into the decoder. Thus, the parameters of the RGB stream, the frequency stream, and the boundary artifact location network are jointly optimized, and their latent complementary relationships are fully mined. The results of extensive experiments performed on four public benchmarks of the image manipulation localization task, namely, CASIA1.0, COVER, Carvalho, and In-The-Wild, demonstrate that the proposed TBNet can significantly outperform state-of-the-art generic image manipulation localization methods in terms of both MCC and F1.

研究动机与目标

• 为解决现有方法仅关注RGB或色彩空间特征，而忽略图像篡改中潜在的揭示性频域统计特性的局限性。
• 在单一端到端框架内统一RGB、频域和边界伪影特征，以提升定位精度。
• 设计自适应模块，动态选择相关频域分量，并基于其互补性融合RGB与频域特征。
• 通过显式建模边界伪影，增强对细微篡改痕迹（尤其是复制-粘贴和拼接操作）的检测能力。
• 在多种篡改类型和真实世界攻击场景下实现稳健性能。

提出的方法

• 提出自适应频率选择（AFS）模块，自适应地选择最具信息量的频域分量，以挖掘不一致的统计特性并抑制冗余分量。
• 引入自适应交叉注意力融合（ACF）模块，根据特征的相关性和互补模式，动态融合来自RGB流和频域流的特征。
• 设计边界伪影定位（BAL）网络，与双流编码器联合优化，以提升边缘定位精度。
• 将BAL模块集成到编码器-解码器结构中，实现RGB、频域和边界流之间的参数共享，支持端到端训练。
• 采用统一损失函数，结合真实篡改掩码和边界伪影位置的监督信号，联合优化所有组件。
• 使用简化的SRM类高通滤波器，作为频域流的输入，以提取高频噪声特征，增强对篡改线索的敏感性。

实验结果

研究问题

• RQ1 当与RGB特征结合时，频域特征是否能显著提升通用图像篡改定位性能？
• RQ2 如何实现RGB与频域特征的自适应融合，以最大化互补信息增益？
• RQ3 显式建模边界伪影是否能提升定位精度，尤其是在复杂篡改场景中？
• RQ4 具有自适应频率选择与基于注意力的融合机制的端到端可训练双流架构，是否优于现有SOTA方法？
• RQ5 所提方法对多样化篡改类型和真实世界图像处理攻击的鲁棒性如何？

主要发现

• TBNet在四个公开基准数据集（CASIA1.0、COVER、Carvalho和In-The-Wild）上均达到SOTA性能，MCC和F1得分显著提升。
• 在CASIA1.0数据集上，TBNet相较于DeepLabV3+，MCC和F1分别提升11.0%和11.1%。
• 在COVER数据集上，MCC和F1分别提升8.2%和10.3%。
• 在Carvalho数据集上，TBNet的MCC和F1分别较DeepLabV3+高出10.2%和11.6%。
• 在In-The-Wild数据集上，TBNet的MCC和F1分别提升8.9%和6.2%，展现出对真实世界变化的强大鲁棒性。
• 消融实验表明，频域特征与RGB特征具有高度互补性，且AFS与ACF模块显著提升了特征学习与融合效率。