[论文解读] Why Does ChatGPT Fall Short in Providing Truthful Answers?

Shen Zheng, Jie Huang+1 more|arXiv (Cornell University)|Apr 20, 2023

Topic Modeling被引用 35

一句话总结

本论文分析了 ChatGPT 的开放域问答失败，指出事实性是主要错误类型，并表明细粒度的外部知识与回忆线索可以提高事实性。

ABSTRACT

Recent advancements in large language models, such as ChatGPT, have demonstrated significant potential to impact various aspects of human life. However, ChatGPT still faces challenges in providing reliable and accurate answers to user questions. To better understand the model's particular weaknesses in providing truthful answers, we embark an in-depth exploration of open-domain question answering. Specifically, we undertake a detailed examination of ChatGPT's failures, categorized into: comprehension, factuality, specificity, and inference. We further pinpoint factuality as the most contributing failure and identify two critical abilities associated with factuality: knowledge memorization and knowledge recall. Through experiments focusing on factuality, we propose several potential enhancement strategies. Our findings suggest that augmenting the model with granular external knowledge and cues for knowledge recall can enhance the model's factuality in answering questions.

研究动机与目标

• 识别与真实性相关的开放域问答中 ChatGPT 的常见失败模式。
• 确定哪些能力（知识记忆 vs. 知识召回）是事实性错误的根源。
• 评估外部证据的粒度和召回线索如何影响事实性。
• 提出在问答系统中提高事实性的实用策略。

提出的方法

• 对 HotpotQA 上的 ChatGPT 回应进行主题分析，将错误分为理解、事实性、具体性和推理。
• 在提供和不提供外部证据（gold）的情况下，量化 GPT-3.5 与 GPT-4 的错误频率。
• 通过受控提示定义并测试两种与事实性相关的能力：知识记忆和知识召回。
• 尝试改变外部知识的粒度（句子级、段落级、章节级）和召回线索（完整实体名、定义）。
• 使用半匹配评估来评估在 HotpotQA 和 BoolQ 上的事实性改进。

实验结果

研究问题

• RQ1 开放域问答中 ChatGPT 的主导错误类型是什么？
• RQ2 事实性是否是导致真实答案失败的主要因素，以及驱动它的能力是什么（记忆 vs 召回）？
• RQ3 提供细粒度的外部知识和召回线索是否可以降低问答中的事实性错误？
• RQ4 证据粒度和召回线索如何影响 GPT-3.5 与 GPT-4 的事实性？

主要发现

• 事实性错误大约占所有失败的一半左右，超过其他错误类型。
• 提供外部证据可以提高事实性，同时也减少理解和具体性错误。
• GPT-4 在理解和具体性方面相较于 GPT-3.5 有所改进，但在事实性方面提升有限。
• 细粒度外部知识（句子级）比更粗粒度如完整章节的知识在事实性方面效果更好。
• 提供相关的关键字（实体名或背景信息）有助于知识召回并提高准确性。
• 回忆失败（在提示下的记忆检索）也会导致一些事实性错误，与记忆存储不同。