[论文解读] TruFor: Leveraging all-round clues for trustworthy image forgery detection and localization

Fabrizio Guillaro, Davide Cozzolino+3 more|arXiv (Cornell University)|Dec 21, 2022

Digital Media Forensic Detection被引用 5

一句话总结

TruFor 是一种新颖的取证框架，通过融合 RGB 图像与一种自监督的、对噪声敏感的指纹（称为 Noiseprint++），检测并定位图像伪造，从而在多个尺度上识别异常。该方法在检测与定位任务中均达到最先进性能，通过可靠性置信度图显著降低误报率，在七个基准测试中优于现有方法，平均准确率提升 25%，误报率最高降低 80%。

ABSTRACT

In this paper we present TruFor, a forensic framework that can be applied to a large variety of image manipulation methods, from classic cheapfakes to more recent manipulations based on deep learning. We rely on the extraction of both high-level and low-level traces through a transformer-based fusion architecture that combines the RGB image and a learned noise-sensitive fingerprint. The latter learns to embed the artifacts related to the camera internal and external processing by training only on real data in a self-supervised manner. Forgeries are detected as deviations from the expected regular pattern that characterizes each pristine image. Looking for anomalies makes the approach able to robustly detect a variety of local manipulations, ensuring generalization. In addition to a pixel-level localization map and a whole-image integrity score, our approach outputs a reliability map that highlights areas where localization predictions may be error-prone. This is particularly important in forensic applications in order to reduce false alarms and allow for a large scale analysis. Extensive experiments on several datasets show that our method is able to reliably detect and localize both cheapfakes and deepfakes manipulations outperforming state-of-the-art works. Code is publicly available at https://grip-unina.github.io/TruFor/

研究动机与目标

• 为解决现有伪造检测方法的局限性，特别是实际部署中泛化能力差和误报率高的问题。
• 提升对图像清洗（如重采样、重新压缩）的鲁棒性，此类操作会擦除传统取证痕迹。
• 提供一个统一框架，实现全局检测与精确定位，并显式估计不确定性以提升可靠性。
• 通过引入置信度图来突出不可靠的定位预测，从而在大规模取证分析中减少误报。
• 通过统一的基于异常的检测方法，有效检测经典‘廉价伪造’和高级深度伪造篡改。

提出的方法

• TruFor 采用基于 Transformer 的融合架构，将输入的 RGB 图像与一种自监督的、对噪声敏感的指纹 Noiseprint++ 融合，以检测异常。
• Noiseprint++ 仅在真实图像上以自监督方式训练，以学习相机内部和外部处理产生的伪影，从而增强对清洗操作的鲁棒性。
• 该框架通过识别融合表征中与预期规律模式的偏离来执行异常检测，从而实现对全局和局部篡改的检测。
• 该框架生成三个输出：像素级异常定位图、基于置信度加权池化的全局完整性分数，以及用于标记不确定区域的可靠性置信度图。
• 置信度图与定位图联合学习，通过降低不可靠预测的权重来抑制误报，尤其在均匀或纹理稀疏区域表现更优。
• 检测通过基于置信度加权定位图的阈值化完整性分数实现，相比基于最大池化的基线方法更具鲁棒性。

实验结果

研究问题

• RQ1 统一的取证框架能否在真实世界清洗条件下，有效检测并定位多种图像篡改，包括经典伪造和深度伪造？
• RQ2 如何将置信度图集成到检测流程中，以减少误报并提升大规模取证分析中的可靠性？
• RQ3 将低层次噪声伪影与高层次语义特征结合，能在多大程度上提升对分布外篡改的检测鲁棒性与泛化能力？
• RQ4 与传统取证特征相比，使用自监督的、对噪声敏感的指纹（Noiseprint++）是否能显著增强对图像清洗的鲁棒性？
• RQ5 具有置信度感知的检测策略是否能显著降低误报率，同时在真实场景中保持高检测准确率？

主要发现

• 在七个基准测试中，TruFor 相较于最先进方法，平均检测准确率提升 25%，在固定阈值下误报率降低 79%。
• 通过利用置信度加权池化，相比最大池化基线，误报率最高降低 80%，显著提升大规模部署中的可靠性。
• 置信度图能有效识别并抑制在均匀或纹理稀疏区域（如黑暗、均质背景）的误报，而这些区域往往是其他方法失效的区域。
• 使用置信度图时，检测任务的 AUC 达到 0.996，准确率为 0.905；而未使用时，AUC 为 0.877，准确率为 0.785。
• 定性结果表明，TruFor 生成的定位图比最先进方法更清晰、更精确，置信度图能正确突出不可靠区域，如真实伪造的边界或原始图像上的误报。
• 该框架在检测与定位任务中均优于现有方法，尤其在涉及图像清洗和多种篡改类型的挑战性场景中表现更优。