[论文解读] Still No Lie Detector for Language Models: Probing Empirical and Conceptual Roadblocks

Benjamin A. Levinstein, Daniel A. Herrmann|arXiv (Cornell University)|Jun 30, 2023

Topic Modeling参考文献 34被引用 5

一句话总结

本文研究大型语言模型（LLMs）是否可通过测量其内部信念来探测说谎，评估了两种现有的探测方法，发现它们在实证和概念层面均无效。尽管LLMs可能出于功能原因追踪真实情况，但当前方法无法泛化，且缺乏可靠测量信念的概念基础，因此尚无可行的LLM谎言检测器。

ABSTRACT

We consider the questions of whether or not large language models (LLMs) have beliefs, and, if they do, how we might measure them. First, we evaluate two existing approaches, one due to Azaria and Mitchell (2023) and the other to Burns et al. (2022). We provide empirical results that show that these methods fail to generalize in very basic ways. We then argue that, even if LLMs have beliefs, these methods are unlikely to be successful for conceptual reasons. Thus, there is still no lie-detector for LLMs. After describing our empirical results we take a step back and consider whether or not we should expect LLMs to have something like beliefs in the first place. We consider some recent arguments aiming to show that LLMs cannot have beliefs. We show that these arguments are misguided. We provide a more productive framing of questions surrounding the status of beliefs in LLMs, and highlight the empirical nature of the problem. We conclude by suggesting some concrete paths for future work.

研究动机与目标

• 评估现有探测方法是否能可靠地测量大型语言模型（LLMs）中的信念。
• 探究尽管存在哲学论点反对，LLMs是否可被认为具有信念。
• 识别阻碍LLMs中有效谎言检测的实证与概念障碍。
• 提出一种更富有成效的研究框架，用于研究LLMs中的类信念状态，该框架基于实证调查。

提出的方法

• 评估两种现有探测方法：Azaria和Mitchell（2023）提出的方法，以及Burns等人（2022）提出的方法，使用可分配真实性的受控提示。
• 通过多样化、分布外的示例测试探测器的泛化能力，以评估其鲁棒性。
• 使用基于机会的设置（例如，已知概率的瓮模型）在不确定性条件下探测LLMs，从而实现基于概率标签的监督训练。
• 分析LLMs是否使用可能对应于世界模型的潜在变量，评估其对真实性的适应能力。
• 不再将LLMs的信念问题视为哲学问题，而是将其重新定义为实证问题，聚焦于功能性的真值追踪。
• 提出未来研究路径，重点在于表征潜在变量及其与真值追踪表征的对应关系。

实验结果

研究问题

• RQ1 现有探测方法能否可靠检测LLM是否对某一事实性陈述持有信念？
• RQ2 为何当前探测方法在不同事实语境下无法泛化？
• RQ3 LLMs是否以支持类信念状态的方式追踪真值，即使它们未被明确训练为此目的？
• RQ4 哪些概念或结构障碍导致探测方法无法准确测量LLM的信念？
• RQ5 LLMs中的潜在变量能否被解释为世界模型的表征？如果是，它们是否具备真值适应性？

主要发现

• Azaria和Mitchell（2023）以及Burns等人（2022）提出的探测方法无法泛化到分布外的事实性陈述，表明其鲁棒性差。
• 即使提示具有明确的真值，探测器也无法可靠捕捉LLM的内部置信度或信念状态。
• 主张LLMs无法拥有信念，因为其仅执行文本预测的理论论点，是基于哲学错误，因此是误导性的。
• LLMs可能因优化压力而功能性地追踪真值，即使没有显式的世界模型，这表明类信念行为是可能的。
• 目前尚无可靠方法测量LLM的信念，且当前方法在概念上存在缺陷，导致无法构建可行的谎言检测器。
• 未来工作应集中于实证研究LLMs中的潜在变量，以确定其是否支持真值适应性表征。