[论文解读] TruthBot: An Automated Conversational Tool for Intent Learning, Curated Information Presenting, and Fake News Alerting

Ankur Gupta, Yash Varun+6 more|arXiv (Cornell University)|Jan 31, 2021

Misinformation and Its Impacts参考文献 20被引用 9

一句话总结

TruthBot 是一个支持多语言、具备意图感知能力的对话式聊天机器人，整合了意图学习、精选知识检索和虚假新闻检测功能，专注于特定主题的真相探寻，尤其适用于 COVID-19 话题。它使用深度神经网络将用户查询分类为意图类别（FAQ、虚假新闻、通用问题、特定区域统计数据），并将每类查询路由至专门的模块，从精选数据库或网络搜索中检索准确、经验证的信息，其响应准确率和用户满意度显著高于现有系统（如 IFCN 聊天机器人）。

ABSTRACT

We present TruthBot, an all-in-one multilingual conversational chatbot designed for seeking truth (trustworthy and verified information) on specific topics. It helps users to obtain information specific to certain topics, fact-check information, and get recent news. The chatbot learns the intent of a query by training a deep neural network from the data of the previous intents and responds appropriately when it classifies the intent in one of the classes above. Each class is implemented as a separate module that uses either its own curated knowledge-base or searches the web to obtain the correct information. The topic of the chatbot is currently set to COVID-19. However, the bot can be easily customized to any topic-specific responses. Our experimental results show that each module performs significantly better than its closest competitor, which is verified both quantitatively and through several user-based surveys in multiple languages. TruthBot has been deployed in June 2020 and is currently running.

研究动机与目标

• 为应对社交媒体上危机（如 COVID-19 大流行）期间日益严重的虚假信息问题，提供一个单一、可靠的可信信息来源。
• 克服现有事实核查工具需要手动输入或切换应用的局限，以减少用户参与度和有效性。
• 设计一个整体性的真相探寻系统，支持多种查询类型——FAQ、虚假新闻验证、通用问题和本地化统计数据——在单一对话界面中实现。
• 通过将意图分类与模块化、上下文感知的信息检索相结合，提升多语言环境下用户满意度和响应准确率。
• 证明一体化聊天机器人在真相探寻方面相较于专业化、功能单一的替代方案的可行性与优越性。

提出的方法

• TruthBot 使用深度神经网络将用户查询分类为四种类别之一：FAQ、虚假新闻（FAKE）、通用问题（GEN）和特定区域统计数据（AREASTAT）。
• 每种类别触发一个专用模块：FAQ 使用精选知识库，FAKE 使用事实核查数据库，GEN 通过 Google 执行网络搜索，AREASTAT 从结构化数据源检索本地化数据。
• 若意图置信度较低，系统将启动后续对话以澄清用户意图，再将请求路由至相应模块。
• 各模块均设计有回退逻辑：若 FAQ 模块失败，系统将自动查询事实核查或网络搜索模块。
• 系统使用文本相似度度量（如 BLEU、ROUGE）评估响应与真实答案的相关性和准确度。
• 用户评估包括关于满意度、可用性、可信度、精确度和价值的调查问卷，统计显著性通过 t 检验进行验证。

实验结果

研究问题

• RQ1 单一对话式 AI 系统能否在统一框架内有效处理多样化的真相探寻查询——包括 FAQ、虚假新闻验证、通用咨询和本地化统计数据？
• RQ2 TruthBot 在响应准确率和用户满意度方面与现有事实核查聊天机器人（如 IFCN）相比，其性能在多种查询类型下如何？
• RQ3 在多语言、真实世界环境中，基于置信度的意图分类与澄清机制在多大程度上提升了响应的可靠性和相关性？
• RQ4 与现有聊天机器人相比，用户如何评价 TruthBot 界面的实用性、易用性、可信度、精确度和整体价值？
• RQ5 模块化、基于意图的架构在多大程度上可减少对外部系统的依赖，同时在真相探寻应用中保持低延迟和高可靠性？

主要发现

• 对于虚假新闻查询，TruthBot 的响应准确率达到 0.74，显著高于 IFCN 聊天机器人的 0.56，p 值 < 0.001，表明具有统计显著性。
• 在通用问题上，TruthBot 的响应准确率比 IFCN 高出 68.2%；在 FAQ 问题上，高出 35.64%，表明其检索和相关性表现更优。
• 在用户满意度调查中，TruthBot 在 AREASTAT、FAQ 和 GEN 查询上的中位数评分为 5，而 IFCN 的中位数评分为 2，p 值均 < 0.001。
• 对于虚假新闻查询，TruthBot 的用户满意度中位数评分为 4，优于 IFCN 的 3，表明其响应更具清晰度和可信度感知。
• 用户界面评估显示，TruthBot 在实用性与精确度上的平均评分是 IFCN 的两倍以上，所有 p 值均 < 0.00001，确认具有极强的统计显著性。
• 该系统在多种语言和查询类型下均表现出稳健性能，验证了其设计作为危机情境下整体性、可扩展真相探寻解决方案的有效性。