[论文解读] RELIC: Investigating Large Language Model Responses using Self-Consistency

Furui Cheng, Vilém Zouhar+4 more|arXiv (Cornell University)|Nov 28, 2023

Topic Modeling被引用 4

一句话总结

本文提出RELIC，一种交互式系统，通过测量同一提示多次生成结果之间的自一致性，提升大型语言模型（LLM）输出的可靠性。通过将响应分解为原子性断言，并利用自然语言蕴涵技术评估跨样本的一致性，RELIC使用户能够通过可视化矛盾与支持证据检测幻觉，显著提升用户研究中的事实验证能力。

ABSTRACT

Large Language Models (LLMs) are notorious for blending fact with fiction and generating non-factual content, known as hallucinations. To address this challenge, we propose an interactive system that helps users gain insight into the reliability of the generated text. Our approach is based on the idea that the self-consistency of multiple samples generated by the same LLM relates to its confidence in individual claims in the generated texts. Using this idea, we design RELIC, an interactive system that enables users to investigate and verify semantic-level variations in multiple long-form responses. This allows users to recognize potentially inaccurate information in the generated text and make necessary corrections. From a user study with ten participants, we demonstrate that our approach helps users better verify the reliability of the generated text. We further summarize the design implications and lessons learned from this research for future studies of reliable human-LLM interactions.

研究动机与目标

• 为解决 LLM 生成文本中存在幻觉这一关键挑战，即模型生成流畅但事实错误的内容。
• 设计一种交互式系统，通过测量多次生成结果在语义层面的一致性，帮助用户评估 LLM 输出的可靠性。
• 通过基于证据的、断言级别的自一致性分析，支持用户识别并纠正不准确的断言。
• 研究用户在可视化和交互式处理 LLM 输出自一致性方面的需求，以提升信任度与决策能力。
• 为未来聚焦于事实性 LLM 生成的人机交互系统提供设计启示。

提出的方法

• 使用自然语言处理将长篇 LLM 响应分解为原子性断言，以隔离单个事实性陈述。
• 采用预训练的自然语言蕴涵（NLI）模型，评估每个原子性断言在多次生成的同一提示响应中是否被支持、矛盾或中立。
• 基于支持或矛盾响应的比例，计算每个断言的自一致性分数，作为模型置信度的代理指标。
• 集成基于问答的管道，实现从其他响应样本中交互式检索支持或矛盾的句子。
• 通过颜色编码指示器可视化断言级别的自一致性，并允许用户在上下文中探索证据，支持现场验证。
• 使用计算流水线（图 2）串联断言提取、NLI 推理与证据检索，实现低延迟、交互式事实核查。

实验结果

研究问题

• RQ1 用户在现有界面中如何感知和评估 LLM 生成文本的可靠性？
• RQ2 哪些视觉与交互功能最有效地传达多个 LLM 响应之间的自一致性？
• RQ3 断言级别的自一致性检测是否能帮助用户识别长篇文本中的幻觉或不一致信息？
• RQ4 从多个响应中交互式检索证据，如何提升用户验证事实断言的能力？
• RQ5 用户与可视化 LLM 输出自一致性的系统互动后，会涌现出哪些设计原则？

主要发现

• 研究中用户报告称，RELIC 的可视化断言级别自一致性与证据检索功能，显著提升了其检测和纠正幻觉内容的能力。
• 参与者更偏好基于证据的验证方式——即看到具体支持或矛盾断言的句子——而非二元真假标签或置信度分数。
• 该系统使用户能够识别多个响应之间的矛盾，例如关于某人职业的冲突事实，这些矛盾在流畅的呈现中原本会被掩盖。
• 用户认为能够检查单个断言及其支持/矛盾证据的能力，对建立对 LLM 输出的信任至关重要。
• 形成性研究揭示，用户需要对响应间一致性提供简洁、高层级的摘要，同时也需要细粒度、可交互的探索能力。
• 自一致性方法在即使单个响应流畅且看似合理的情况下，仍能有效揭示不一致性，证明其在检测非事实性内容方面的价值。