[论文解读] Towards Understanding of Deepfake Videos in the Wild

Beomsang Cho, Binh M. Le+5 more|arXiv (Cornell University)|Sep 5, 2023

Generative Adversarial Networks and Image Synthesis被引用 5

一句话总结

本文介绍了RWDF-23，这是迄今为止最大且最多样化的现实世界深度伪造数据集，包含从21个国家的Reddit、YouTube、TikTok和Bilibili平台收集的2,000个视频，涵盖四种语言。通过自然语言处理和元数据分析深度伪造创作者、操作策略、目的以及观众情绪，揭示了观众反应在受害者种族和性别方面存在显著偏见，并识别出用户参与度随时间变化的趋势。

ABSTRACT

Deepfakes have become a growing concern in recent years, prompting researchers to develop benchmark datasets and detection algorithms to tackle the issue. However, existing datasets suffer from significant drawbacks that hamper their effectiveness. Notably, these datasets fail to encompass the latest deepfake videos produced by state-of-the-art methods that are being shared across various platforms. This limitation impedes the ability to keep pace with the rapid evolution of generative AI techniques employed in real-world deepfake production. Our contributions in this IRB-approved study are to bridge this knowledge gap from current real-world deepfakes by providing in-depth analysis. We first present the largest and most diverse and recent deepfake dataset (RWDF-23) collected from the wild to date, consisting of 2,000 deepfake videos collected from 4 platforms targeting 4 different languages span created from 21 countries: Reddit, YouTube, TikTok, and Bilibili. By expanding the dataset's scope beyond the previous research, we capture a broader range of real-world deepfake content, reflecting the ever-evolving landscape of online platforms. Also, we conduct a comprehensive analysis encompassing various aspects of deepfakes, including creators, manipulation strategies, purposes, and real-world content production methods. This allows us to gain valuable insights into the nuances and characteristics of deepfakes in different contexts. Lastly, in addition to the video content, we also collect viewer comments and interactions, enabling us to explore the engagements of internet users with deepfake content. By considering this rich contextual information, we aim to provide a holistic understanding of the {evolving} deepfake phenomenon and its impact on online platforms.

研究动机与目标

• 为解决当前缺乏最新、多样化且反映现实生成式AI技术的深度伪造数据集的问题。
• 研究真实世界中非色情深度伪造视频的特征、创作者及其目的。
• 分析观众对深度伪造的参与度与情绪反应，特别是针对受害者种族、性别和视频类别的差异。
• 识别深度伪造在不同平台及随时间推移的传播模式与受众认知趋势。
• 通过经机构审查委员会批准的实证数据收集与分析，支持更稳健的检测与缓解策略开发。

提出的方法

• 系统性地从Reddit、YouTube、TikTok和Bilibili平台收集了2,000个深度伪造视频，覆盖21个国家和四种语言，确保语言与文化的广泛多样性。
• 收集了全面的元数据，包括上传者身份、受害者人口统计信息（性别、种族、职业）、视频时间戳以及平台特定属性。
• 收集了观众互动数据，如观看次数、点赞数、评论数及评论时间戳，以分析随时间变化的参与动态。
• 应用自然语言处理技术分析用户评论中的情绪，使用情感评分模型评估观众对真实感和偏见的认知。
• 根据创作者提供的标签（如教育类、科技类）对视频进行分类，以比较不同类型内容之间的情绪差异。
• 使用Mann-Whitney U检验（α = 0.01）进行统计分析，评估不同受害者人口统计特征下情感评分的显著差异。

Figure 1: Summary of our overall procedure to collect the dataset. Besides the videos, we have collected their metadata and also labeled various attributes of the content.

实验结果

研究问题

• RQ1 在不同平台和国家中，近期在线分享的深度伪造视频具有哪些特征？
• RQ2 深度伪造视频的上传者是谁，他们创作和分享的动机是什么？
• RQ3 用户对深度伪造视频的反应和情绪如何随时间变化，哪些因素影响情绪变化？

主要发现

• 以白人受害者为主的视频获得最中性评论，而东南亚裔受害者为主的视频则获得相对更多的正面情绪，表明观众认知中可能存在区域性或种族性偏见。
• 女性受害者始终获得显著多于男性受害者的正面评论，p值 < 0.001，可能因其在音乐、舞蹈等娱乐内容中频繁出现。
• 创作者标记为教育类的内容获得更高的正面观众情绪，表明可能存在以意识提升为名传播深度伪造的潜在利用路径。
• 旨在介绍深度伪造技术的科技类视频收到更多负面评论，如“这项技术太危险了”，反映出恐惧与担忧情绪。
• 观众对深度伪造的兴趣在2023年初显著上升，单个视频平均评论数达到6,000条，可能由MidJourney等生成模型的进展推动。
• 兴趣在2021年下半年有所下降，但在2023年初重新回升，表明公众参与度存在与技术进步和重大事件相关的周期性趋势。

(c) Geographic distribution of publisher