[论文解读] Source Camera Attribution of Multi-Format Devices

Samet Taspinar, Manoranjan Mohanty+1 more|arXiv (Cornell University)|Apr 2, 2019

Digital Media Forensic Detection参考文献 37被引用 5

一句话总结

本文提出了一种新颖的方法，用于跨混合媒体类型（如图像和视频）进行源相机归属，通过分析由不同相机内重缩放技术（例如，合并、跳行、缩放）引起的错位现象。该方法引入了对齐比率（RoA）以量化像素之间的空间对应关系，并开发了一种高效的搜索算法，显著提升了匹配准确率与计算速度，相较于穷举搜索，实现了在DARPA Medifor挑战数据集上的最先进性能。

ABSTRACT

Photo Response Non-Uniformity (PRNU) based source camera attribution is an effective method to determine the origin camera of visual media (an image or a video). However, given that modern devices, especially smartphones, capture images, and videos at different resolutions using the same sensor array, PRNU attribution can become ineffective as the camera fingerprint and query visual media can be misaligned. We examine different resizing techniques such as binning, line-skipping, cropping and scaling that cameras use to downsize the raw sensor image to different media. Taking such techniques into account, this paper studies the problem of source camera attribution. We define the notion of Ratio of Alignment, which is a measure of shared sensor elements among spatially corresponding pixels within two media objects resized with different techniques. We then compute the Ratio of Alignment between the different combinations of three common resizing methods under simplified conditions and experimentally validate our analysis. Based on the insights drawn from the different techniques used by cameras and the RoA analysis, the paper proposes an algorithm for matching the source of a video with an image and vice versa. We also present an efficient search method resulting in significantly improved performance in matching as well as computation time.

研究动机与目标

• 解决当查询媒体与参考媒体类型不同时（例如，图像与视频）因相机内重缩放技术导致的基于PRNU的源相机归属挑战。
• 分析不同重缩放方法（合并、跳行、双线性缩放）对PRNU归属中对齐与相关性的影响。
• 开发一种高效的搜索方法，在保持高匹配准确率的同时显著降低计算时间，适用于混合媒体归属任务。
• 在真实世界数据集（包括DARPA Medifor挑战数据集）上验证所提方法，涵盖不同分辨率、长宽比及传感器使用情况。

提出的方法

• 引入对齐比率（RoA）作为度量指标，量化通过不同技术重缩放的两个媒体对象中，空间对应像素之间共享传感器单元的比例。
• 在简化条件下，对三种常见重缩放方法（合并、跳行、双线性缩放）进行RoA值的理论推导，以预测相关性表现。
• 通过实验验证确认理论RoA预测结果，并评估重缩放技术对PRNU匹配准确率的影响。
• 提出一种利用RoA洞察设计的搜索算法，高效探索合理的重缩放参数，避免穷举搜索，从而减少计算时间。
• 从多个图像或视频帧中估计PRNU指纹，并在对齐校正后与查询媒体进行相关性分析。
• 将该方法应用于混合媒体归属任务：在真实相机处理约束下，实现视频与单张图像之间的相互匹配。

实验结果

研究问题

• RQ1 不同的相机内重缩放技术（合并、跳行、缩放）如何影响图像与视频媒体之间PRNU噪声的对齐与相关性？
• RQ2 在混合媒体归属中，对齐比率（RoA）与最终PRNU相关性强度之间的理论与实证关系为何？
• RQ3 能否设计一种高效的搜索策略，利用RoA的洞察显著减少计算时间，同时保持高匹配准确率？
• RQ4 当参考媒体与查询媒体类型不同时（例如，图像与视频），由于重缩放错位导致的基于PRNU的归属性能会如何退化？
• RQ5 不同相机型号与传感器使用模式在多大程度上影响RoA值，从而影响归属成功率？

主要发现

• 所提方法在DARPA Medifor挑战中达到最先进性能，在四项混合媒体挑战（图像-视频、视频-图像等）中排名第一，AUC得分为0.62–0.76。
• 在图像-视频挑战中，该方法取得AUC为0.76、CD为0.50的优异表现，优于其他参赛方案。
• RoA分析成功预测出合并与跳行方法的对齐效果优于双线性缩放，且经实验验证成立。
• 所提搜索算法相较于朴素的穷举搜索显著降低了计算时间，实现了更快且可扩展的归属处理。
• 当参考媒体为视频而查询媒体为图像时，准确率下降至82.85%，表明在基于视频的PRNU估计方面仍有改进空间。
• 该方法在原始媒体（NYUAD-mmd）与处理后媒体（DARPA数据集）上均表现出鲁棒性，包括稳定化、裁剪与缩放内容。