[论文解读] PoxVerifi: An Information Verification System to Combat Monkeypox Misinformation

Akaash Kolluri, Kami Vinton+1 more|arXiv (Cornell University)|Sep 9, 2022

Misinformation and Its Impacts被引用 5

一句话总结

PoxVerifi 是一款开源的 Google Chrome 扩展，通过自动化机器学习分类（96% 的交叉验证准确率）、社区驱动的投票机制以及与先前审核过的相似声明进行对比，实时验证声明的真实性，从而应对猴痘相关谣言的传播。该工具为用户提供了一个全面的、内置于浏览器中的可信度评估工具，用户无需离开网页即可完成验证。

ABSTRACT

Following recent outbreaks, monkeypox-related misinformation continues to rapidly spread online. This negatively impacts response strategies and disproportionately harms LGBTQ+ communities in the short-term, and ultimately undermines the overall effectiveness of public health responses. In an attempt to combat monkeypox-related misinformation, we present PoxVerifi, an open-source, extensible tool that provides a comprehensive approach to assessing the accuracy of monkeypox related claims. Leveraging information from existing fact checking sources and published World Health Organization (WHO) information, we created an open-sourced corpus of 225 rated monkeypox claims. Additionally, we trained an open-sourced BERT-based machine learning model for specifically classifying monkeypox information, which achieved 96% cross-validation accuracy. PoxVerifi is a Google Chrome browser extension designed to empower users to navigate through monkeypox-related misinformation. Specifically, PoxVerifi provides users with a comprehensive toolkit to assess the veracity of headlines on any webpage across the Internet without having to visit an external site. Users can view an automated accuracy review from our trained machine learning model, a user-generated accuracy review based on community-member votes, and have the ability to see similar, vetted, claims. Besides PoxVerifi's comprehensive approach to claim-testing, our platform provides an efficient and accessible method to crowdsource accuracy ratings on monkeypox related-claims, which can be aggregated to create new labeled misinformation datasets.

研究动机与目标

• 应对快速传播的猴痘相关谣言对公共卫生响应造成的负面影响，满足对相关工具的迫切需求。
• 缓解因错误声称猴痘仅影响男 gay 和双性恋男性而加剧的 LGBQ+ 群体污名化问题。
• 开发一种可访问的、内置于浏览器的验证系统，使用户无需跳转至其他页面即可评估新闻可信度。
• 构建一个可复用的开源框架，用于众包标注健康谣言，以支持未来的研究与工具开发。
• 提供一种可扩展的解决方案，整合自动化分类、社区反馈与基于证据的对比，提升媒体素养，减少对启发式判断的依赖。

提出的方法

• 基于 225 条经 WHO 和事实核查来源评分的猴痘相关声明精选语料库，微调了一个 BERT 基础的机器学习模型。
• 开发了 Google Chrome 扩展，可在任何网页上实时分析标题，并通过机器学习模型提供自动化准确度评分。
• 整合了社区驱动的投票系统，允许用户对声明的准确性进行评分，聚合结果公开显示以增强透明度与信任感。
• 实现了显示用户类似且已审核过的声明的功能，附带已知准确度评级，以支持基于证据的对比与认知处理。
• 设计系统完全在浏览器内运行，最大限度减少用户操作摩擦，保障阅读体验的连贯性。
• 在 GitHub 上建立了开源数据处理管道，支持未来扩展、数据收集与基于众包标签的模型再训练。

实验结果

研究问题

• RQ1 结合自动化分类与社区投票的浏览器工具，能否有效提升用户识别猴痘相关谣言的能力？
• RQ2 向用户展示类似且已验证的声明，在多大程度上能增强其评估新声明可信度的能力？
• RQ3 当在仅包含 225 个标注样本的有限但高准确率数据集上训练时，基于 BERT 的模型在分类猴痘相关声明方面表现如何？
• RQ4 用户众包提供的评分能否被可靠聚合，以生成新谣言声明的准确标签，从而支持未来模型优化？
• RQ5 开源且可扩展的框架在多大程度上能降低未来公共卫生紧急事件中开发健康谣言应对工具的门槛？

主要发现

• 基于 BERT 的机器学习模型在分类猴痘相关声明的真实性方面，实现了 96% 的交叉验证准确率，尽管训练数据量有限，仍表现出强劲性能。
• PoxVerifi Chrome 扩展成功实现了无需跳转至外部事实核查网站即可实时验证声明，显著提升了可用性与用户参与度。
• 该系统整合了自动化预测、社区投票与已审核声明的对比功能，减少了对启发式判断的依赖，促进了信息的深度认知处理。
• 该工具的开源特性与通过众包实现的数据收集机制，构建了一个可持续的流程，可为未来研究生成新的、带标签的谣言数据集。
• 该平台在公共卫生紧急事件中展示了可行性，通过提供即时、可访问且基于证据的验证工具，有效缓解了谣言传播风险。
• 该框架具备可扩展性，可适配其他健康谣言场景，如季节性流感、儿童传染病或未来大流行，具有广泛的公共卫生影响潜力。