[论文解读] Two-Stream Neural Networks for Tampered Face Detection

Peng Zhou, Xintong Han+2 more|arXiv (Cornell University)|Mar 29, 2018

Digital Media Forensic Detection参考文献 15被引用 57

一句话总结

本文提出一个用于伪造人脸检测的双流网络：基于 GoogLeNet 的人脸分类流和利用隐写分析特征的基于补丁的三元组流，在新的 SwapMe/FaceSwap 数据集上进行评估，达到最先进的结果。

ABSTRACT

We propose a two-stream network for face tampering detection. We train GoogLeNet to detect tampering artifacts in a face classification stream, and train a patch based triplet network to leverage features capturing local noise residuals and camera characteristics as a second stream. In addition, we use two different online face swapping applications to create a new dataset that consists of 2010 tampered images, each of which contains a tampered face. We evaluate the proposed two-stream network on our newly collected dataset. Experimental results demonstrate the effectiveness of our method.

研究动机与目标

• 推动在单一证据方法之外对篡改人脸的鲁棒检测。
• 结合高级视觉篡改伪影与低级局部噪声残留特征。
• 开发并在一个具有挑战性的人脸篡改数据集上评估一个双流架构。

提出的方法

• 两流架构结合：（1）基于 GoogLeNet、用于检测篡改伪影的人脸分类流；（2）利用隐写分析特征、经三元组损失优化的基于补丁的三元组流。
• 在 128x128 补丁上训练的三元组网络，含 15000 个三元组；使用具有 512 维输出、L2 正则化的两层全连接嵌入器；三元组损失使 d(a,f(r(xa))) 接近 d(a,f(r(xp)))，并在边距 m 的约束下。
• 对学习得到的三元组嵌入在每个图像层训练的 SVM 分类器，用于本地化篡改补丁；最终的人脸篡改分数通过分数融合将两条流结合。
• 使用两个人脸交换应用（SwapMe 和 FaceSwap）来生成每个子集 2010 张篡改图像和 1400 张原始图像用于训练/测试；评估使用 ROC/AUC。
• 训练与测试协议包括跨应用评估（在一个应用上训练，在另一个上测试），以评估对不同篡改技术的鲁棒性。

实验结果

研究问题

• RQ1 双流网络是否能通过联合利用高级篡改伪影和低级隐写分析特征来提升篡改人脸检测？
• RQ2 将人脸分类流与基于补丁的三元组流融合是否比任一单一流获得更好的检测性能？
• RQ3 在跨数据集评估下，所提出的方法对不同的换脸工具（SwapMe 与 FaceSwap）的泛化能力有多强？

主要发现

• 双流融合的 AUC 高于任一单流（在各自流上的 0.854 与 0.875，与 0.927 相比）。
• 隐写分析特征结合 SVM 获得 0.794 AUC，而人脸分类流达到 0.854 AUC。
• 在 SwapMe 测试集上，组合的双流网络优于所有基线，AUC 为 0.927。
• 基于硬 JPEG 的定位方法在 SwapMe 数据上表现较差，原因是双重 JPEG 压缩和缩放效应；而所提出的方法保持鲁棒。
• CAM 可视化表明人脸分类器在篡改发生时学习到的伪影包括边界缝合、嘴唇附近的锐利边缘以及眼镜周围的模糊，从而验证了所学线索。
• 该方法受益于互补线索：可见篡改伪影和局部噪声残留对篡改人脸检测都具信息量。