[论文解读] Using cognitive psychology to understand GPT-3

Marcel Binz, Eric Schulz|arXiv (Cornell University)|Jun 21, 2022

Topic Modeling被引用 6

一句话总结

本文通过认知心理学实验评估 GPT-3 的推理与决策能力，发现其在基于短剧的任务和基于经验的决策中表现良好，但在因果推理和定向探索方面表现不佳。尽管在某些方面表现强劲，GPT-3 对提示扰动极为敏感，且缺乏人类类似的认知机制，如主动探索和因果推断。

ABSTRACT

We study GPT-3, a recent large language model, using tools from cognitive psychology. More specifically, we assess GPT-3's decision-making, information search, deliberation, and causal reasoning abilities on a battery of canonical experiments from the literature. We find that much of GPT-3's behavior is impressive: it solves vignette-based tasks similarly or better than human subjects, is able to make decent decisions from descriptions, outperforms humans in a multi-armed bandit task, and shows signatures of model-based reinforcement learning. Yet we also find that small perturbations to vignette-based tasks can lead GPT-3 vastly astray, that it shows no signatures of directed exploration, and that it fails miserably in a causal reasoning task. These results enrich our understanding of current large language models and pave the way for future investigations using tools from cognitive psychology to study increasingly capable and opaque artificial agents.

研究动机与目标

• 通过既定的心理学实验评估 GPT-3 是否表现出类似人类的认知行为。
• 研究 GPT-3 在决策、信息搜索、审慎思考和因果推理等经典任务中的表现。
• 识别 GPT-3 行为与人类认知之间的差距，特别是在探索和因果推断方面。
• 评估 GPT-3 的表现是否对提示变化具有鲁棒性，或是否易受对抗性扰动影响。
• 探讨这些发现对开发更具人类特征的人工智能代理的启示。

提出的方法

• 向 GPT-3 提供认知心理学文献中的基于短剧的任务，使用预定义的假设情境。
• 通过程序化生成的试验开展基于任务的实验，以评估基于经验的决策和强化学习。
• 在多臂老虎机任务中评估 GPT-3 的行为，以检验其探索与利用策略。
• 使用因果推理任务测试 GPT-3 从被动观察中推断干预效果的能力。
• 将 GPT-3 的回应与人类在相同任务上的表现进行比较，以评估其类人程度。
• 分析在提示扰动下响应的一致性，以评估其鲁棒性及对措辞的敏感性。

实验结果

研究问题

• RQ1 GPT-3 是否能在与人类相当的水平上解决经典认知心理学中的基于短剧的任务？
• RQ2 GPT-3 在基于经验的任务中是否表现出类似人类的决策与信息搜索行为？
• RQ3 GPT-3 在序列决策任务中是否表现出定向探索或基于模型的强化学习？
• RQ4 GPT-3 是否能在需要基于干预推断的任务中进行因果推理？
• RQ5 GPT-3 的表现对提示措辞或任务呈现方式的微小变化有多敏感？

主要发现

• GPT-3 在大多数基于短剧的任务中表现与人类相当或更优。
• 在多臂老虎机任务中，GPT-3 表现优于人类，表明其在基于经验的决策中表现强劲。
• GPT-3 展现出基于模型的强化学习的特征，表明其具备对结果的内部状态表征。
• 对短剧提示的微小扰动会显著改变 GPT-3 的回应，表明其对输入表述高度敏感。
• GPT-3 没有表现出定向探索的迹象，未能主动寻求信息以减少不确定性。
• GPT-3 在因果推理任务中完全失败，表明其无法从被动数据中推断干预效果。