[论文解读] Universal Image Manipulation Detection using Deep Siamese Convolutional Neural Network

Aniruddha Mazumdar, Jaya Singh+2 more|arXiv (Cornell University)|Aug 20, 2018

Digital Media Forensic Detection参考文献 17被引用 18

一句话总结

本文提出了一种深度孪生卷积神经网络（Siamese CNN），通过比较图像块对来判断其是否经过相同或不同的图像处理操作，从而检测并区分各种图像篡改操作。与以往需要在训练期间已知所有篡改类型的传统通用取证方法不同，该方法在未见篡改类型上表现出色，在AWGN上达到96.61%的准确率，在伽马校正上达到95.24%，展现出强大的零样本泛化能力。

ABSTRACT

Detection of different types of image editing operations carried out on an image is an important problem in image forensics. It gives the information about the processing history of an image, and also can expose forgeries present in an image. There have been few methods proposed to detect different types of image editing operations in a single framework. However, all the operations have to be known a priori in the training phase. But, in real-forensics scenarios it may not be possible to know about the editing operations carried out on an image. To solve this problem, we propose a novel deep learning-based method which can differentiate between different types of image editing operations. The proposed method classifies image patches in a pair-wise fashion as either similarly or differently processed using a deep siamese neural network. Once the network learns feature that can discriminate between different image editing operations, it can differentiate between different image editing operations not present in the training stage. The experimental results show the efficacy of the proposed method in detecting/discriminating different image editing operations.

研究动机与目标

• 解决现有通用图像取证方法的局限性，即要求在训练期间已知并包含所有篡改类型。
• 开发一种能够检测并区分训练过程中未见的图像篡改操作的方法。
• 通过学习处理相似性/差异性的判别性特征而非固定类别分类，提升图像取证中的泛化能力。
• 实现对复杂多操作伪造的检测，即多个编辑操作按顺序依次应用的情况。

提出的方法

• 该方法采用孪生CNN架构，输入为两个图像块，输出为表示其是否经过相同或不同处理的相似性得分。
• 网络在配对图像块上进行训练：来自同一篡改类型的相同对（IP）和来自不同篡改类型的差异对（DP）。
• 孪生网络学习提取能够捕捉各种图像编辑操作（如高斯模糊、中值滤波、重采样和对比度增强）引起的细微统计差异的特征。
• 使用对比损失函数进行训练，使特征空间中相似样本的嵌入更接近，而不同样本的嵌入更远离。
• 训练完成后，网络可对新图像块进行分类，判断其是否经过相似或不同处理，即使该篡改类型未在训练数据中出现。
• 该方法利用孪生网络固有的比较特征学习能力，实现对新型篡改的零样本检测。

实验结果

研究问题

• RQ1 深度学习模型是否能在事先不了解所有可能操作类型的情况下，检测并区分不同的图像篡改操作？
• RQ2 孪生CNN在检测训练集中未包含的图像篡改操作时，泛化能力如何？
• RQ3 基于特征相似性的成对比较方法是否优于传统基于分类的通用取证方法？
• RQ4 该模型在检测涉及未知或未见编辑步骤的复杂多操作伪造时，能力可达到何种程度？
• RQ5 当检测未在训练中使用过的细微篡改（如AWGN和伽马校正）时，模型能否保持高准确率？

主要发现

• 所提出的孪生CNN在原始图像块分类中达到99.35%的准确率，在高斯模糊中为99.51%，在中值滤波中为99.64%，在重采样中为99.26%，在三类中优于Bayar和Stamm的方法。
• 该模型对未见篡改类型表现出有效泛化，AWGN（σ=2）的准确率达到96.61%，伽马校正（γ=1.5）为95.24%，证明了其强大的零样本检测能力。
• 该方法在中值滤波（99.64% vs. 98.85%）和重采样（99.26% vs. 99.13%）任务上显著优于Bayar和Stamm的最先进CNN方法。
• 孪生网络通过无固定类别标签的图像块比较能力，使其能够检测训练期间未见过的新篡改类型，这是相较于现有通用方法的关键优势。
• 结果证实，学习区分处理相似性而非固定篡改类型的分类，可显著提升真实取证场景中的泛化能力。
• 该模型在未见篡改上的表现表明，所学习的特征能够捕捉图像处理的通用痕迹，使其对多样化且不断演变的编辑技术具有鲁棒性。