[论文解读] Source Printer Identification from Document Images Acquired using Smartphone

Sharad Joshi, Suraj Saxena+1 more|arXiv (Cornell University)|Mar 27, 2020

Digital Media Forensic Detection参考文献 37被引用 4

一句话总结

本文提出了一种新颖的双通道CNN模型，通过融合原始字母图像与打印机特定的噪声残差，实现从智能手机拍摄的文档图像中进行源打印机识别。该方法在多种采集条件下实现了98.42%的文档级分类准确率，以及90.33%的字母级准确率，展示了无需依赖单一字符的鲁棒性能，并首次公开发布了用于此任务的智能手机拍摄数据集。

ABSTRACT

Vast volumes of printed documents continue to be used for various important as well as trivial applications. Such applications often rely on the information provided in the form of printed text documents whose integrity verification poses a challenge due to time constraints and lack of resources. Source printer identification provides essential information about the origin and integrity of a printed document in a fast and cost-effective manner. Even when fraudulent documents are identified, information about their origin can help stop future frauds. If a smartphone camera replaces scanner for the document acquisition process, document forensics would be more economical, user-friendly, and even faster in many applications where remote and distributed analysis is beneficial. Building on existing methods, we propose to learn a single CNN model from the fusion of letter images and their printer-specific noise residuals. In the absence of any publicly available dataset, we created a new dataset consisting of 2250 document images of text documents printed by eighteen printers and acquired by a smartphone camera at five acquisition settings. The proposed method achieves 98.42% document classification accuracy using images of letter 'e' under a 5x2 cross-validation approach. Further, when tested using about half a million letters of all types, it achieves 90.33% and 98.01% letter and document classification accuracies, respectively, thus highlighting the ability to learn a discriminative model without dependence on a single letter type. Also, classification accuracies are encouraging under various acquisition settings, including low illumination and change in angle between the document and camera planes.

研究动机与目标

• 使用智能手机拍摄的文档图像而非扫描仪，实现快速、低成本且用户友好的源打印机识别。
• 克服现有方法依赖扫描仪且不适用于真实世界智能手机拍摄图像的局限性。
• 开发一个单一、统一的CNN模型，能够从字母图像及其噪声残差中学习打印机特有的特征。
• 创建并发布一个包含18台打印机、5种采集设置下共2250张智能手机拍摄文档图像的新公开数据集。
• 在低光照、角度变化和透视失真等具有挑战性的现实条件下评估模型的鲁棒性。

提出的方法

• 该方法通过将原始字母图像与其估计的打印机特定噪声残差相结合，构建双通道输入，实现在单一CNN中的联合特征学习。
• 噪声残差通过从给定打印机输出的平均图像中减去参考扫描图像提取。
• 在双通道输入上端到端训练深度卷积神经网络（CNN），以分类每个字母或文档的源打印机。
• 该架构采用平均池化和双曲正切（Tanh）激活函数，在消融实验中表现最佳（平均准确率达98.81%）。
• 采用5×2协议在不同采集设置下进行交叉验证，包括角度变化和低光照条件。
• 该模型不仅在单个字母（e）上进行评估，还在包含约50万张多样化字母图像的大规模测试集上评估泛化能力。

实验结果

研究问题

• RQ1 单一CNN模型能否在不依赖扫描仪采集的情况下，有效从智能手机拍摄的文档图像中学习打印机特有的签名？
• RQ2 将原始字母图像与噪声残差融合，相比单独使用任一模态，能否提升分类准确率？
• RQ3 在真实世界采集变化（如相机角度、光照和透视失真）下，该方法的性能如何？
• RQ4 当并非所有字母类型都可用时，模型在不同字母和字体上的泛化能力如何？
• RQ5 与基于扫描仪的数据相比，从智能手机图像中估计噪声残差在多大程度上会降低模型性能？

主要发现

• 所提出的双通道CNN在五种采集设置下，使用5×2交叉验证协议，在智能手机拍摄图像上实现了98.42%的文档级分类准确率。
• 在约50万张多样化字母图像上测试时，该模型实现了90.33%的字母级分类准确率，表明其在所有字母类型上均具有强大的泛化能力。
• 该方法实现了98.01%的文档级分类准确率，显著降低了对特定字母类型（如'e'）可用性的依赖。
• 在各种采集条件下性能保持稳定（97.69%至98.81%），仅在俯视倾斜场景中因透视失真增加而性能下降。
• Tanh激活函数与平均池化结合时表现最佳（平均准确率达98.81%），优于ReLU、PReLU和ELU变体。
• 该模型优于最先进方法（包括DenseNet），在基于扫描仪数据的联合使用原始图像与残差图像时，相较于基线方法表现出持续改进。