[论文解读] The Deepfake Detection Dilemma: A Multistakeholder Exploration of Adversarial Dynamics in Synthetic Media

Claire Leibowicz, Sean McGregor+1 more|arXiv (Cornell University)|Feb 11, 2021

Digital Media Forensic Detection参考文献 9被引用 8

一句话总结

本文通過多利益相關者視角探討合成媒體檢測中的對抗動態，揭示了隨著檢測工具變得越來越易於獲取，攻擊者亦會相應適應以避開檢測，從而產生持續的「檢測困境」。研究指出，單一檢測方法並不能普遍有效，因此主張在學術界、科技平台、公民社會與媒體之間建立公平、協作的檢測工具治理機制，以在面對不斷演變的合成媒體威脅時，平衡可及性、安全性與信任。

ABSTRACT

Synthetic media detection technologies label media as either synthetic or non-synthetic and are increasingly used by journalists, web platforms, and the general public to identify misinformation and other forms of problematic content. As both well-resourced organizations and the non-technical general public generate more sophisticated synthetic media, the capacity for purveyors of problematic content to adapt induces a ewterm{detection dilemma}: as detection practices become more accessible, they become more easily circumvented. This paper describes how a multistakeholder cohort from academia, technology platforms, media entities, and civil society organizations active in synthetic media detection and its socio-technical implications evaluates the detection dilemma. Specifically, we offer an assessment of detection contexts and adversary capacities sourced from the broader, global AI and media integrity community concerned with mitigating the spread of harmful synthetic media. A collection of personas illustrates the intersection between unsophisticated and highly-resourced sponsors of misinformation in the context of their technical capacities. This work concludes that there is no "best" approach to navigating the detector dilemma, but derives a set of implications from multistakeholder input to better inform detection process decisions and policies, in practice.

研究动机与目标

• 分析在錯誤資訊背景下，合成媒體創作者與檢測技術之間的對抗動態。
• 理解檢測工具如何受到合成媒體生成技術日益複雜與易用性的限制。
• 評估多樣化利益相關者（包括記者、事實查核者、公民社會與科技平台）在合成媒體檢測中的角色與技術能力。
• 識別檢測工具在公平可及性方面的系統性挑戰，以及檢測技術普及化後工具被繞過的風險。
• 提出一個多利益相關者框架，以指導檢測政策與合作，平衡有效性、可及性與信任。

提出的方法

• 進行涵蓋學術界、科技平台、媒體機構與公民社會等多方利益相關者的多利益相關者分析，以評估檢測情境與對手能力。
• 使用角色設定來模擬低資源與高資源合成媒體製作者的技術與戰略特徵（例如：「霸凌者鮑勃」、「宣傳者保羅」、「國家級南希」）。
• 透過真實世界的檢測限制案例研究，分析法醫級媒體分析，包括引發國家震盪與可疑媒體的調查。
• 評估水印技術、特徵識別與基於缺陷的分析等技術方法，以評估其魯棒性與可擴展性。
• 應用對抗性博弈理論框架於合成媒體檢測，建模檢測者與生成者之間不斷演變的軍備競賽。
• 提出檢測器共享的治理模型，強調透明度、可及性公平與機構正當性，以緩解檢測困境。

实验结果

研究问题

• RQ1 在合成媒體日益複雜且遭受對抗性針對的現實情境中，檢測工具的表現如何？
• RQ2 不同合成媒體製作者（從非技術性參與者到國家級行為者）的技術與戰略能力為何？
• RQ3 隨著檢測工具日益普及，其被繞過的現象如何發生？對檢測系統的信任與公平性有何影響？
• RQ4 哪些制度與治理模式可確保多樣化利益相關者（特別是在資源有限的環境中）公平獲得檢測工具？
• RQ5 如何設計與共享檢測工具，以在維持其有效性之餘，最小化對抗性濫用的風險？

主要发现

• 隨著合成媒體生成技術變得越來越易用與具適應性，檢測工具日益容易被繞過，導致持續的檢測困境。
• 水印技術與基於特徵的檢測對低階與中階合成媒體製作者（如「霸凌者鮑勃」、「宣傳者保羅」）有效，但對高資源對手（如「國家級南希」）無效。
• 單一檢測方法無法普遍穩健；最有效的策略需結合技術、制度與協作方法。
• 檢測工具的公平可及性仍是一大挑戰，資源有限的參與者（如記者與公民社會組織）常被排除在關鍵檢測能力之外。
• 檢測工具的正當性與可信度不僅取決於技術準確性，也取決於透明的治理與明確的可及性協議。
• 未來檢測的成功取決於多利益相關者合作、制度框架與持續適應，而非任何單一技術解決方案。