[论文解读] Protecting President Zelenskyy against Deep Fakes

Matyáš Boháček, Hany Farid|arXiv (Cornell University)|Jun 24, 2022

Face Recognition and Perception被引用 5

一句话总结

本文提出了一种基于身份的深度伪造检测系统，针对乌克兰总统泽连斯基，利用从八个多小时真实视频中提取的面部和手势行为特征。通过建模其独特的头部和手部动作，该方法在区分真实泽连斯基与深度伪造模仿者方面实现了99.88%的准确率，为冲突地区的信息战提供了强有力的防御手段。

ABSTRACT

The 2022 Russian invasion of Ukraine is being fought on two fronts: a brutal ground war and a duplicitous disinformation campaign designed to conceal and justify Russia's actions. This campaign includes at least one example of a deep-fake video purportedly showing Ukrainian President Zelenskyy admitting defeat and surrendering. In anticipation of future attacks of this form, we describe a facial and gestural behavioral model that captures distinctive characteristics of Zelenskyy's speaking style. Trained on over eight hours of authentic video from four different settings, we show that this behavioral model can distinguish Zelenskyy from deep-fake imposters.This model can play an important role -- particularly during the fog of war -- in distinguishing the real from the fake.

研究动机与目标

• 为应对战争期间针对世界领导人的深度伪造视频威胁，特别是在俄罗斯入侵乌克兰期间的信息战背景下。
• 开发一种基于身份的鲁棒检测系统，利用行为生物特征区分单个高价值个体的真实与合成媒体。
• 通过整合动态手势特征，提升传统基于面部的深度伪造检测能力，增强判别力并提高对欺骗攻击的抵抗力。
• 创建一种实用且可部署的防御机制，以在危机期间保护关键政治人物免受高影响力信息战的侵害。

提出的方法

• 收集并分析了泽连斯基在四种不同情境下的506分钟真实视频片段：公开演讲、新闻简报、地下掩体露面以及非正式访谈。
• 从2D和3D面部标志点中提取了496个面部与手势特征，包括3D头部姿态（Rx, Ry, Rz）、手部关节位置（肘部、手腕、肩部）以及面部动作单元（AUs）。
• 使用面部与手势特征的组合训练二分类器，以区分真实泽连斯基与深度伪造模仿者及其他世界领导人。
• 通过保留测试集评估模型性能，测试集包含真实泽连斯基、深度伪造泽连斯基以及其他世界领导人的视频，以评估泛化能力与特异性。
• 通过500次随机特征子集试验识别最具判别力的特征对，重点关注头部运动与手势之间的相关性。
• 通过500个分类器的中位准确率对特征重要性进行排序，结果显示头部姿态与手势运动的相关性最具预测力。

实验结果

研究问题

• RQ1 能否基于行为特征且仅使用真实视频片段，构建一个针对泽连斯基的、身份特定的深度伪造检测模型？
• RQ2 与仅使用面部特征相比，面部习惯与手势特征的综合使用在多大程度上提升了深度伪造检测的准确率？
• RQ3 最具判别力的特征——特别是头部与手部动作之间的相关性——在多大程度上提升了检测性能？
• RQ4 当在其他世界领导人视频及深度伪造泽连斯基视频上进行测试时，该模型的泛化能力如何？
• RQ5 实现高检测准确率所需的最少特征数量是多少？性能如何随特征集大小变化？

主要发现

• 当使用全部496个面部与手势特征时，模型检测准确率达到99.88%，表明对真实与虚假泽连斯基视频的判别近乎完美。
• 当使用400个特征时，模型准确率达到99.52%，表明在中等规模特征集后性能趋于稳定，说明特征利用效率极高。
• 前10个最具判别力的特征对（如头部姿态-Rx与右肘-y）的分类器准确率达到44.4%，显著高于随机特征子集的中位准确率（8.4%）。
• 头部旋转（如点头）与手势之间的相关性是最具预测力的信号，凸显了多模态行为建模的重要性。
• 仅使用前20个最优特征的单一分类器准确率达到63.4%，强调了完整特征集对实现高性能的必要性。
• 该模型在多种不同情境下均保持优异性能，表明其行为模型在不同讲话风格与场景下具有良好的泛化能力。