[论文解读] Will the Real Linda Please Stand up...to Large Language Models? Examining the Representativeness Heuristic in LLMs

Pengda Wang, Zilin Xiao+2 more|arXiv (Cornell University)|Apr 1, 2024

Artificial Intelligence in Law被引用 4

一句话总结

本文提出了 ReHeAT，一个涵盖六种认知偏差类型的 202 个代表性启发式问题的基准数据集，用于评估大语言模型对启发式推理错误的敏感性。尽管所有四种测试的 LLM（GPT-3.5、GPT-4、PaLM 2、LLaMA 2）都具备正确的统计知识，但在存在刻板印象时仍表现出代表性启发式偏差，未能应用统计推理——尽管通过提示提示可显著提升表现，揭示了一种与数据偏差不同的独特认知陷阱。

ABSTRACT

Although large language models (LLMs) have demonstrated remarkable proficiency in modeling text and generating human-like text, they may exhibit biases acquired from training data in doing so. Specifically, LLMs may be susceptible to a common cognitive trap in human decision-making called the representativeness heuristic. This is a concept in psychology that refers to judging the likelihood of an event based on how closely it resembles a well-known prototype or typical example, versus considering broader facts or statistical evidence. This research investigates the impact of the representativeness heuristic on LLM reasoning. We created ReHeAT (Representativeness Heuristic AI Testing), a dataset containing a series of problems spanning six common types of representativeness heuristics. Experiments reveal that four LLMs applied to ReHeAT all exhibited representativeness heuristic biases. We further identify that the model's reasoning steps are often incorrectly based on a stereotype rather than on the problem's description. Interestingly, the performance improves when adding a hint in the prompt to remind the model to use its knowledge. This suggests the uniqueness of the representativeness heuristic compared to traditional biases. It can occur even when LLMs possess the correct knowledge while falling into a cognitive trap. This highlights the importance of future research focusing on the representativeness heuristic in model reasoning and decision-making and on developing solutions to address it.

研究动机与目标

• 调查大语言模型（LLMs）是否表现出代表性启发式，即通过与原型的相似性而非统计证据来判断可能性的认知偏差。
• 填补现有研究中关于 LLM 认知偏差的空白，特别是那些根植于推理捷径的偏差，而不仅限于数据分布偏差。
• 开发一个全面且标准化的基准，用于评估 LLM 对启发式推理错误的敏感性。
• 探索提示策略（如提示提示）是否能在模型具备正确统计知识的前提下减轻这些基于启发式的错误。

提出的方法

• 构建了 ReHeAT，一个包含 202 个问题的数据集，涵盖六类代表性启发式：基础率谬误、合取谬误、析取谬误、对样本大小不敏感、对机会的误解以及回归谬误。
• 改编自经典心理学研究（例如，Tversky & Kahneman, 1983）的问题，创建出统计推理与刻板印象直觉相冲突的情境。
• 使用零样本、思维链、上下文学习和自一致性提示技术，对四种 LLM（GPT-3.5、GPT-4、PaLM 2 和 LLaMA 2）在 ReHeAT 上进行评估。
• 为每个实例设计两个并行问题：统计原型问题（SPQ）以统计逻辑表达，代表性启发式问题（RHQ）则将相同逻辑嵌入刻板印象情境中。
• 采用基于提示的提示策略，测试是否通过提醒模型其知识可克服启发式偏差。
• 分析模型的推理步骤，以识别其决策是基于刻板印象还是统计事实。

实验结果

研究问题

• RQ1 大语言模型是否在推理中表现出与人类相似的代表性启发式？
• RQ2 当问题以统计中立方式呈现时，LLMs 能否正确应用统计推理，但在引入刻板印象描述时却会失败？
• RQ3 提供一种提醒模型知识的提示提示，能在多大程度上减轻 LLM 中的启发式偏差？
• RQ4 代表性启发式是否与 LLM 中其他形式的偏差（如数据分布偏差）不同？
• RQ5 不同的提示策略（如思维链、上下文学习）如何影响 LLM 对代表性启发式错误的敏感性？

主要发现

• 所有四种评估的 LLM（GPT-3.5、GPT-4、PaLM 2 和 LLaMA 2）均表现出显著的代表性启发式偏差，错误地将刻板印象结果视为比统计上有效结果更可能。
• 尽管能正确回答统计原型问题（SPQ），模型在代表启发式问题（RHQ）中却未能应用相同推理，表明在启发式压力下知识无法有效迁移。
• 添加提示提示显著提升了模型在 RHQ 上的表现，表明模型具备正确知识，但其推理被认知捷径所阻碍。
• 模型的推理常依赖于刻板印象关联（例如，“女孩更可能在艺术类”），而非统计事实（例如，“大多数学生在艺术俱乐部”），即使后者被明确陈述。
• LLM 中的代表性启发式与数据偏差不同，因为即使在训练数据无偏且具备正确知识的情况下，模型仍可能失败。
• 本研究揭示了 LLM 中一种独特的认知陷阱：尽管具备正确的统计工具，模型仍可能被直觉性的、基于原型的推理所误导。