[论文解读] Vulnerable to Misinformation? Verifi!

Alireza Karduni, Isaac Cho+6 more|arXiv (Cornell University)|Jul 25, 2018

Misinformation and Its Impacts参考文献 52被引用 8

一句话总结

Verifi2 是一个视觉分析系统，通过分析新闻来源的语言、网络和图像特征，帮助用户检测社交媒体上的虚假信息。它支持对真实账户与可疑账户进行交互式对比，通过专家指导的设计和用户反馈，促进教育与意识提升。

ABSTRACT

We present Verifi2, a visual analytic system to support the investigation of misinformation on social media. On the one hand, social media platforms empower individuals and organizations by democratizing the sharing of information. On the other hand, even well-informed and experienced social media users are vulnerable to misinformation. To address the issue, various models and studies have emerged from multiple disciplines to detect and understand the effects of misinformation. However, there is still a lack of intuitive and accessible tools that help social media users distinguish misinformation from verified news. In this paper, we present Verifi2, a visual analytic system that uses state-of-the-art computational methods to highlight salient features from text, social network, and images. By exploring news on a source level through multiple coordinated views in Verifi2, users can interact with the complex dimensions that characterize misinformation and contrast how real and suspicious news outlets differ on these dimensions. To evaluate Verifi2, we conduct interviews with experts in digital media, journalism, education, psychology, and computing who study misinformation. Our interviews show promising potential for Verifi2 to serve as an educational tool on misinformation. Furthermore, our interview results highlight the complexity of the problem of combating misinformation and call for more work from the visualization community.

研究动机与目标

• 应对社交媒体上虚假信息日益严峻的挑战，特别是针对缺乏批判性评估能力的年轻、数字原生用户。
• 开发一种易于使用、交互性强的工具，帮助用户理解区分真实与可疑新闻来源的复杂因素。
• 通过整合计算机科学、心理学和媒体素养领域的洞见，支持跨学科合作以应对虚假信息问题。
• 为教育工作者和研究人员提供一个系统，通过真实世界数据和可视化探索，教授媒体素养并研究虚假信息的动态。
• 通过可视化文本、网络和图像维度的可信度指标，提升公众对虚假信息的意识和抵御能力。

提出的方法

• 利用最先进的自然语言处理（NLP）和计算方法，从新闻内容中提取情感、情绪和语言风格等语言特征。
• 构建一种新颖的社会网络可视化方法，同时展示新闻账户之间的直接互动和主题相似性。
• 分析图像特征和实体提及情况，以检测可疑或真实新闻来源的典型模式。
• 将先前关于虚假信息检测（例如，Volkova 等，2017）和认知偏见（例如，Wineburg 等，2016）的研究成果整合到统一的用户界面中。
• 支持在多个维度上对真实与可疑新闻账户进行交互式对比：语言使用、社交网络结构、图像内容和实体提及。
• 整合来自媒体、心理学和教育领域专家的用户反馈，以优化设计并增强其在教育应用中的可用性。

实验结果

研究问题

• RQ1 如何利用视觉分析帮助用户通过检查新闻来源的语言、网络和图像特征来识别虚假信息？
• RQ2 在视觉分析系统中，哪些设计元素最能支持用户区分真实与可疑新闻账户？
• RQ3 此类系统如何适应教育用途，以教授媒体素养和在线信息的批判性思维？
• RQ4 在语言使用、网络行为和图像运用方面，真实新闻机构与可疑或误导性机构之间的关键差异特征是什么？
• RQ5 来自不同学科的专家反馈如何指导开发更有效、更可信的虚假信息检测工具？

主要发现

• Verifi2 有效可视化了区分真实与可疑新闻来源的多个维度——语言、网络和图像特征，支持用户更深入的理解。
• 来自教育、心理学和传播学领域的专家一致认为，Verifi2 具备作为教学媒体素养和在线内容批判性评估教育工具的潜力。
• 访谈显示，用户迫切需要超越二元分类（真实 vs. 可疑）的可信度谱系，表明用户标注具有重要价值。
• 专家建议简化界面，并允许用户基于系统提供的证据自主进行可信度评估，以提升用户参与度和信任感。
• 该系统支持在来源级别和文档级别对新闻账户进行交互式探索，使用户能够跨可信度的多个维度对比行为差异。
• 人工标注和实时反馈机制（如 VIL，视觉交互标注）被确认为长期保持准确性和适应性的关键要素。