[论文解读] Technology-Enabled Disinformation: Summary, Lessons, and Recommendations

John Garland Akers, Gagan Bansal+13 more|arXiv (Cornell University)|Dec 21, 2018

Misinformation and Its Impacts参考文献 59被引用 16

一句话总结

本文研究现代技术如何促进大规模虚假信息与错误信息的制造与传播，重点关注深度伪造、精准广告投放和机器人网络。文章提出跨学科的技术与政策解决方案，强调负责任的设计、用户意识以及各领域间的协作，以在不完全依赖机器学习的前提下减轻其危害。

ABSTRACT

Technology is increasingly used -- unintentionally (misinformation) or intentionally (disinformation) -- to spread false information at scale, with potentially broad-reaching societal effects. For example, technology enables increasingly realistic false images and videos, and hyper-personal targeting means different people may see different versions of reality. This report is the culmination of a PhD-level special topics course (https://courses.cs.washington.edu/courses/cse599b/18au/) in Computer Science & Engineering at the University of Washington's Paul G. Allen School in the fall of 2018. The goals of this course were to study (1) how technologies and today's technical platforms enable and support the creation and spread of such mis- and disinformation, as well as (2) how technical approaches could be used to mitigate these issues. In this report, we summarize the space of technology-enabled mis- and disinformation based on our investigations, and then surface our lessons and recommendations for technologists, researchers, platform designers, policymakers, and users.

研究动机与目标

• 分析当前技术（尤其是人工智能、社交媒体和数据追踪）如何加剧虚假信息与错误信息的传播。
• 识别错误信息的技术促成因素，包括合成媒体、行为定向和自动化机器人。
• 评估现有技术防御措施及其在大规模遏制错误信息方面的局限性。
• 为技术人员、研究人员、平台设计者、政策制定者和用户提供切实可行的建议，以减轻错误信息对社会的影响。
• 强调仅靠技术解决方案不足以应对问题，必须结合认知科学、社会学和政策研究的洞见，以解决信息污染的根源。

提出的方法

• 在华盛顿大学艾伦计算机学院开设研究生水平专题研讨课程，深入探究错误信息的技术维度。
• 调研现有关于错误信息生态系统的学术研究，涵盖选举、健康错误信息和社会动荡等案例研究。
• 分析核心技术促成因素：深度伪造生成（如生成对抗网络）、高度个性化的内容投放，以及用于信息放大的机器人网络。
• 评估现有技术缓解策略，如检测模型、数字水印和平台级干预措施。
• 开展跨学科分析，整合认知偏见、媒体素养和平台经济等方面的洞见。
• 提出基于技术可行性与现实约束的建议，避免过度依赖未经验证的人工智能解决方案。

实验结果

研究问题

• RQ1 像人工智能生成内容、精准广告投放和自动化机器人这样的现代技术，如何实现虚假信息的大规模制造与传播？
• RQ2 当今的错误信息活动与历史上的宣传手段相比，其关键技术和系统性因素有何不同？
• RQ3 技术解决方案（如检测算法、内容来源追踪或机器人识别）在多大程度上能减少虚假信息的传播？
• RQ4 为何当前的技术防御措施往往无法实现规模化或在真实环境中产生实质性影响？
• RQ5 技术人员、研究人员和政策制定者如何协同设计干预措施，以兼顾人类认知、平台经济和公众信任？

主要发现

• 内容创作的民主化以及DeepFakes等易用工具的普及，已大幅降低制造高度逼真虚假内容的技术与经济门槛。
• 与参与度和广告收入挂钩的经济激励，推动了情绪化、误导性内容的制造与传播，即使并非有意为之。
• 高度个性化的目标定位与实时反馈回路使错误信息能针对个体用户进行定制，形成难以纠正的碎片化现实。
• 当前的技术防御手段——尤其是基于机器学习的检测方法——常因对抗鲁棒性不足、泛化能力差以及合成内容快速演变而失效。
• 检测与预防并非纯粹的技术问题；认知偏见、社会互动机制和平台激励结构显著影响错误信息的传播方式与公众感知。
• 有效的缓解措施需要跨学科协作：技术解决方案必须与政策改革、媒体素养教育和伦理设计原则相结合，方能实现可持续且有效的应对。