[论文解读] PSCC-Net: Progressive Spatio-Channel Correlation Network for Image Manipulation Detection and Localization

Xiaohong Liu, Yaojie Liu+2 more|arXiv (Cornell University)|Mar 19, 2021

Adversarial Robustness in Machine Learning被引用 11

一句话总结

PSCC-Net 是一种用于图像篡改检测与定位的新型渐进式时空-通道相关网络，采用双路径架构，结合自顶向下的特征提取与自底向上的多尺度掩码预测。通过引入时空-通道相关模块（SCCM）以建模空间与通道注意力，该方法在 CASIA-D 数据集上实现了 97.12% 的 F1 分数，推理速度超过 50 FPS，展现出对尺度变化和图像失真的强鲁棒性。

ABSTRACT

To defend against manipulation of image content, such as splicing, copy-move, and removal, we develop a Progressive Spatio-Channel Correlation Network (PSCC-Net) to detect and localize image manipulations. PSCC-Net processes the image in a two-path procedure: a top-down path that extracts local and global features and a bottom-up path that detects whether the input image is manipulated, and estimates its manipulation masks at multiple scales, where each mask is conditioned on the previous one. Different from the conventional encoder-decoder and no-pooling structures, PSCC-Net leverages features at different scales with dense cross-connections to produce manipulation masks in a coarse-to-fine fashion. Moreover, a Spatio-Channel Correlation Module (SCCM) captures both spatial and channel-wise correlations in the bottom-up path, which endows features with holistic cues, enabling the network to cope with a wide range of manipulation attacks. Thanks to the light-weight backbone and progressive mechanism, PSCC-Net can process 1,080P images at 50+ FPS. Extensive experiments demonstrate the superiority of PSCC-Net over the state-of-the-art methods on both detection and localization.

研究动机与目标

• 解决在不同尺度与失真条件下，对拼接、复制-粘贴与移除等多样化图像篡改的检测与定位挑战。
• 克服现有方法在尺度变化、缺乏空间与通道相关性建模以及在原始图像上检测不可靠等方面的局限性。
• 构建统一框架，联合实现检测与定位，提升对图像失真的泛化能力与鲁棒性。
• 通过轻量级主干网络与渐进式掩码预测机制，实现实时推理，同时不牺牲准确性。

提出的方法

• 采用双路径网络结构：自顶向下的路径用于通过密集连接编码器提取多尺度特征；自底向上的路径用于渐进式篡改掩码预测。
• 实施渐进机制，使每一尺度的掩码预测均基于前一尺度的输出，实现从粗到细的定位。
• 引入时空-通道相关模块（SCCM），通过空间与通道自注意力机制增强特征表示，捕捉整体上下文信息。
• 在 SCCM 中共享空间与通道注意力头的特征，提升效率并避免冗余计算。
• 设计自底向上路径，逐步在递增的尺度上估计四张篡改掩码，每张掩码均利用注意力引导的特征对前序掩码进行优化。
• 采用多尺度监督策略进行端到端训练，使用所有尺度的真实掩码，以提升定位精度。

实验结果

研究问题

• RQ1 深度学习模型如何在多样化尺度与类型（包括拼接、复制-粘贴与移除）下有效检测与定位图像篡改？
• RQ2 在特征中同时建模空间与通道相关性，能在多大程度上提升对未见篡改攻击的泛化能力？
• RQ3 渐进式、从粗到细的掩码预测机制是否能优于传统的编码器-解码器或无池化架构，以更好地应对尺度变化？
• RQ4 在真实场景中，该方法对常见图像失真（如缩放、模糊、噪声与 JPEG 压缩）的鲁棒性如何？
• RQ5 该模型是否能在不假设所有输入均为伪造图像的前提下，可靠地区分篡改图像与原始图像，从而减少误报？

主要发现

• PSCC-Net 在 CASIA-D 数据集上实现了 97.12% 的检测 F1 分数，显著优于标准评估设置下的当前最先进方法。
• 模型在多种失真条件下保持高度鲁棒性：在 JPEG 压缩图像（质量因子 q=50）上，AUC 达 99.45%，F1 分数达 96.47%，表明对压缩具有强抗性。
• 消融实验证实，SCCM 中的空间注意力与通道注意力均对性能有贡献，其中空间注意力带来的性能提升大于通道注意力。
• SCCM 中的特征共享机制提升了性能并减少了推理时间，表明注意力头之间的共享表征可增强模型效率与准确性。
• PSCC-Net 以超过 50 FPS 的速度处理 1,080 张图像，展示了其在轻量级主干网络支持下的实时推理能力。
• 在涉及复杂、多尺度伪造的失败案例中，PSCC-Net 仍优于 ManTra-Net 与 SPAN 等当前最先进方法，展现出对尺度变化更强的鲁棒性。