[论文解读] SpliceRadar: A Learned Method For Blind Image Forensics

Aurobrata Ghosh, Zheng Zhong+2 more|arXiv (Cornell University)|Jun 27, 2019

Digital Media Forensic Detection参考文献 28被引用 12

一句话总结

SpliceRadar 提出了一种基于深度学习的盲图像伪造定位方法，该方法在不依赖源相机型号先验知识的情况下学习低层次的相机型号特征。通过使用约束卷积神经网络学习丰富的高通滤波器，并采用基于互信息的正则化方法抑制语义内容，该方法在三个基准数据集上相比最先进方法实现了最高达4%的性能提升。

ABSTRACT

Detection and localization of image manipulations like splices are gaining in importance with the easy accessibility of image editing softwares. While detection generates a verdict for an image it provides no insight into the manipulation. Localization helps explain a positive detection by identifying the pixels of the image which have been tampered. We propose a deep learning based method for splice localization without prior knowledge of a test image's camera-model. It comprises a novel approach for learning rich filters and for suppressing image-edges. Additionally, we train our model on a surrogate task of camera model identification, which allows us to leverage large and widely available, unmanipulated, camera-tagged image databases. During inference, we assume that the spliced and host regions come from different camera-models and we segment these regions using a Gaussian-mixture model. Experiments on three test databases demonstrate results on par with and above the state-of-the-art and a good generalization ability to unknown datasets.

研究动机与目标

• 解决在缺乏源相机型号先验知识的情况下定位图像拼接区域的挑战。
• 克服现有深度学习取证方法在未见数据集上泛化能力有限的问题。
• 开发一种能够学习低层次相机特异性特征同时抑制高层语义内容的方法。
• 利用大规模、未经篡改且带有相机标签的图像数据库，通过相机识别这一代理任务进行预训练。
• 通过基于学习到的相机型号差异的高斯混合模型实现鲁棒的伪造定位。

提出的方法

• 训练一个带有约束卷积的深度卷积神经网络，以学习能够从图像中提取残差和低层次特征的高通“丰富”滤波器。
• 在训练过程中应用一种新颖的概率正则化方法，基于互信息以抑制语义边缘和图像特异性内容。
• 在大规模、多样化的未经篡改且带有相机标签的图像数据集上对网络进行预训练，以源相机识别作为代理任务。
• 在推理阶段，计算图像中各区域的低层次特征，并利用高斯混合模型根据不同的相机型号特征对区域进行分割。
• 利用学习到的特征生成指示可能拼接区域的热力图，并通过阈值化和二值化进行后处理。
• 将特征提取的步长优化为48像素，以在计算成本和检测精度之间取得平衡。

实验结果

研究问题

• RQ1 深度学习模型是否能够在不依赖图像语义或源相机先验知识的情况下学习到低层次的相机特异性特征？
• RQ2 基于互信息的正则化在抑制语义内容的同时，对保留低层次取证特征的有效性如何？
• RQ3 在代理任务（相机识别）上预训练的模型，其泛化能力在多大程度上可推广到未见过的伪造数据集？
• RQ4 所提出的方法是否在多种测试数据集上均优于最先进技术，在检测和定位精度方面表现更优？
• RQ5 在多个最先进方法均失效的困难样本上，该方法存在哪些局限性？

主要发现

• 在DSO-1数据集上，SpliceRadar的F1得分为0.69，优于EXIF-SC（0.57）和SB（0.66），相比最先进方法提升4%。
• 在NC16数据集上，SpliceRadar的F1得分为0.40，超过EXIF-SC（0.38）和SB（0.37），表现出一致的性能提升。
• 在NC17-dev1数据集上，SpliceRadar以F1得分为0.42与最佳性能方法（SB）持平，表明其在具有挑战性的数据上表现强劲。
• 在DSO-1数据集上，SpliceRadar的ROC-AUC得分为0.91，为最高值，表明其在所有阈值下均具有优越的全局性能。
• 该方法展现出强大的泛化能力，训练数据与测试数据集无关，且在三个基准数据集上性能均保持高水平。
• 定性结果表明，SpliceRadar生成的热力图比SB和EXIF-SC更准确、更连贯，尤其在复杂或细微的拼接案例中表现更优。