[论文解读] Turning large language models into cognitive models

Marcel Binz, Eric Schulz|arXiv (Cornell University)|Jun 6, 2023

Topic Modeling被引用 21

一句话总结

作者在心理学数据上对大型语言模型（LLaMA）进行微调，创造CENTaUR，一种能够预测人类选择并能推广到新任务的认知建模系统，在决策领域的表现优于传统认知模型并能捕捉个体差异。

ABSTRACT

Large language models are powerful systems that excel at many tasks, ranging from translation to mathematical reasoning. Yet, at the same time, these models often show unhuman-like characteristics. In the present paper, we address this gap and ask whether large language models can be turned into cognitive models. We find that -- after finetuning them on data from psychological experiments -- these models offer accurate representations of human behavior, even outperforming traditional cognitive models in two decision-making domains. In addition, we show that their representations contain the information necessary to model behavior on the level of individual subjects. Finally, we demonstrate that finetuning on multiple tasks enables large language models to predict human behavior in a previously unseen task. Taken together, these results suggest that large, pre-trained models can be adapted to become generalist cognitive models, thereby opening up new research directions that could transform cognitive psychology and the behavioral sciences as a whole.

研究动机与目标

• 通过利用领域特定行为数据，推动将大型语言模型转换为领域通用的认知模型。
• 证明在心理学数据上的微调能产生准确、类人类的决策表示。
• 展示微调模型的嵌入能够捕捉行为中的个体差异。
• 通过在两个任务上训练的模型对一个 hold-out 的第三任务进行评估来测试泛化能力。

提出的方法

• 使用LLaMA（65B 参数）并从描述心理学实验的 prompts 中提取嵌入。
• 在LLaMA嵌入之上微调一个线性层以预测人类选择（CENTaUR）。
• 通过100-fold 交叉验证与基线（随机、原始 LLaMA、BEAST、Gershman 混合模型）进行预测性能评估。
• 在描述中的选择（choices13k）和经验实验（horizon task）上训练，然后评估 hold-out 任务的表现。
• 对模型行为进行仿真，以将遗憾和选择曲线与人类数据进行比较。
• 在微调层中为每位参与者允许随机效应，以捕捉个体差异。

Figure 1: Illustration of our approach and main results. (a) We provided text-based descriptions of psychological experiments to a large language model and extracted the resulting embeddings. We then finetuned a linear layer on top of these embeddings to predict human choices. We refer to the result

实验结果

研究问题

• RQ1 微调大型语言模型嵌入是否能产生对人类决策的准确模型？
• RQ2 CENTaUR 嵌入是否包含足以在个体层面建模行为的信息？
• RQ3 在多任务上微调的模型能否预测在此前未见任务中的人类行为？
• RQ4 与领域特定的认知模型相比，CENTaUR 在预测准确性和行为现实性方面表现如何？

主要发现

• CENTaUR 在 choices13k 上的 NLL 为 48002.3，优于 BEAST（49448.1）。
• CENTaUR 在 horizon task 上的 NLL 为 25968.6，优于混合模型（29042.5）。
• 在 hold-out 的经验-符号任务中，CENTaUR 的 NLL 为 4521.1，优于随机（5977.7）和 LLaMA（6307.9）。
• 在仿真中，CENTaUR 的遗憾（1.35，SE 0.01）更接近人类（1.24，SE 0.01），而非 LLaMA（1.85，SE 0.01）。
• CENTaUR 捕捉到近似人类的选择曲线：在等信息条件和不等信息条件下复制探索效应，而非 LLaMA。
• 基于嵌入的模型较好地描述了个体差异；在每位参与者加入随机效应后拟合度有所提升（NLL 23929.5 vs 25968.6）。
• 在两个任务上微调的模型对第三个 hold-out 任务具备泛化能力，能够预测新范式中的人类行为。

Figure 2: Model simulations. (a) Performance for different models and human participants on the choices13k data set. (b) Performance for different models and human participants on the horizon task. (c) Human choice curves in the equal information condition of the horizon task. (d) Human choice curve