[论文解读] TALL: Thumbnail Layout for Deepfake Video Detection

Yuting Xu, Jian Liang+4 more|arXiv (Cornell University)|Jul 14, 2023

Generative Adversarial Networks and Image SynthesisComputer Science被引用 3

一句话总结

本文提出了一种模型无关的方法——Thumbnail Layout（TALL），通过遮蔽和重排连续帧，将视频片段转换为固定版式缩略图，以保留时空依赖性。基于TALL的Swin Transformer模型TALL-Swin在具有挑战性的跨数据集基准FaceForensics++ → Celeb-DF上取得了90.79%的AUC，优于先前方法，且计算成本极低。

ABSTRACT

The growing threats of deepfakes to society and cybersecurity have raised enormous public concerns, and increasing efforts have been devoted to this critical topic of deepfake video detection. Existing video methods achieve good performance but are computationally intensive. This paper introduces a simple yet effective strategy named Thumbnail Layout (TALL), which transforms a video clip into a pre-defined layout to realize the preservation of spatial and temporal dependencies. Specifically, consecutive frames are masked in a fixed position in each frame to improve generalization, then resized to sub-images and rearranged into a pre-defined layout as the thumbnail. TALL is model-agnostic and extremely simple by only modifying a few lines of code. Inspired by the success of vision transformers, we incorporate TALL into Swin Transformer, forming an efficient and effective method TALL-Swin. Extensive experiments on intra-dataset and cross-dataset validate the validity and superiority of TALL and SOTA TALL-Swin. TALL-Swin achieves 90.79$\%$ AUC on the challenging cross-dataset task, FaceForensics++ $ o$ Celeb-DF. The code is available at https://github.com/rainy-xu/TALL4Deepfake.

研究动机与目标

• 解决现有基于视频的深度伪造检测方法计算成本过高的问题，同时保持强大的泛化能力。
• 探索一种简单、模型无关的方法，将时间建模注入基于图像的主干网络，而无需增加参数量或计算量。
• 提升在多样化深度伪造数据集上的检测鲁棒性，尤其是在跨数据集泛化设置下。
• 验证通过固定版式缩略图表示，可以有效捕捉深度伪造中的时空不一致性。

提出的方法

• 在固定位置对连续视频帧进行遮蔽，以增强泛化能力并防止对特定区域的过拟合。
• 将每帧图像分割为子图像，并按预设的缩略图布局排列，以保留空间与时间结构。
• 该方法与模型无关，仅需少量代码修改，可无缝集成至任意图像主干网络。
• 将TALL与Swin Transformer结合，构建TALL-Swin模型，利用自注意力机制实现高效的时空特征学习。
• 提出一种新颖的数据增强策略，在缩略图的四个子图像上应用遮罩，提升模型泛化能力。
• 对窗口大小和帧排序方式进行消融实验，以优化性能与时间建模能力。

实验结果

研究问题

• RQ1 对视频片段进行简单、固定版式的转换，能否有效保留用于深度伪造检测的时空不一致性？
• RQ2 与标准基于图像的方法相比，TALL是否能在未见的深度伪造数据集上提升泛化能力？
• RQ3 主干网络架构的选择如何影响TALL的性能，特别是在时间建模方面？
• RQ4 在遮罩位置、子图像尺寸和缩略图排序方面，最优配置为何，能最大化检测准确率？
• RQ5 与3D-CNN和视频Transformer相比，TALL能否在显著降低FLOPs的前提下实现SOTA性能？

主要发现

• TALL-Swin在跨数据集基准FaceForensics++ → Celeb-DF上达到90.79%的AUC，优于先前的SOTA方法。
• 在缩略图中采用前向帧排序的模型表现最佳，表明其有效学习了时间依赖性。
• 所提出的遮罩增强策略相比标准Cutout提升1.46%，相比Mixup+CutMix提升1.02%。
• 子图像尺寸为112×112且采用2×2窗口划分时，性能与效率达到最优。
• TALL在准确率-成本权衡上与3D-CNN和视频Transformer相当，但FLOPs显著更低。
• 该方法在多个数据集（包括Celeb-DF、DFDC和DeeperForensics）上均表现出良好泛化能力，展现出强大的鲁棒性。