[论文解读] The Neuro-Symbolic Inverse Planning Engine (NIPE): Modeling Probabilistic Social Inferences from Linguistic Inputs

Lance Ying, Katherine M. Collins+6 more|arXiv (Cornell University)|Jun 25, 2023

Topic Modeling被引用 4

一句话总结

本文提出神经符号逆向规划引擎（NIPE），一种混合模型，利用大语言模型（LLM）将语言描述转化为符号程序语义，进而作用于贝叶斯概率生成模型以实现目标推理。在涉及理性智能体规划的复杂社会推理任务中，NIPE在空间和基于规则的障碍赛道场景下，显著优于仅使用LLM的模型，尤其在预测人类判断方面表现更优。

ABSTRACT

Human beings are social creatures. We routinely reason about other agents, and a crucial component of this social reasoning is inferring people's goals as we learn about their actions. In many settings, we can perform intuitive but reliable goal inference from language descriptions of agents, actions, and the background environments. In this paper, we study this process of language driving and influencing social reasoning in a probabilistic goal inference domain. We propose a neuro-symbolic model that carries out goal inference from linguistic inputs of agent scenarios. The "neuro" part is a large language model (LLM) that translates language descriptions to code representations, and the "symbolic" part is a Bayesian inverse planning engine. To test our model, we design and run a human experiment on a linguistic goal inference task. Our model closely matches human response patterns and better predicts human judgements than using an LLM alone.

研究动机与目标

• 通过语言输入建模类人的社会推理，特别是针对复杂、动态环境中的智能体目标。
• 解决纯神经网络LLM在捕捉理性、目标导向规划及高效路径推理方面的局限性。
• 将符号化贝叶斯逆向规划与神经语言模型结合，实现更结构化、可解释且准确的社会推理。
• 检验将神经语言理解与符号化概率推理相结合，是否能提升对人类直觉判断的预测能力。
• 开发一种可扩展、基于语言的框架，用于通过自然语言描述建模人工智能智能体的理论心智。

提出的方法

• 使用大语言模型（LLM）将环境、智能体行为与世界动态的自然语言描述解析为可执行的符号程序表示。
• 将语言输入转化为结构化的符号语义，用以条件化可能世界状态与智能体行为的概率生成模型。
• 基于符号语义条件化生成模型，以定义可能环境与智能体计划的先验分布。
• 应用贝叶斯逆向规划，通过反向推理观察到的行为与世界约束，推断智能体最可能的目标。
• 在逆向规划过程中引入嵌套规划器，以在效率与约束假设下模拟理性、目标导向的行为。
• 在受电视游戏秀障碍赛道启发的定制语言目标推理任务上进行模型训练与评估，任务包含上锁的门与多个奖杯。

Figure 1: Overview of our model, the Neuro-Symbolic Inverse Planning Engine (NIPE), which reasons about linguistic goal inference scenarios. ( Left, green ) We design and measure human judgments on a linguistic goal inference domain (inspired by Zhi-Xuan et al. ( 2020 ) , which asks about the final

实验结果

研究问题

• RQ1 在复杂社会推理场景中，神经符号模型是否能比仅使用LLM的模型更准确地预测人类直觉目标推断？
• RQ2 LLM单独处理反直觉的理性规划（如为追求更远目标而忽略更近目标）时表现如何？
• RQ3 符号化贝叶斯逆向规划在空间任务中，对智能体效率与目标导向性的推理改善程度如何？
• RQ4 在概率框架下，关于世界动态、行为与配置的语言输入如何共同影响目标推断？
• RQ5 混合神经符号系统是否能产生比端到端神经模型更连贯、更结构化且更符合人类对齐的社会推理？

主要发现

• NIPE在包含上锁门与多个奖杯的复杂障碍赛道语言目标推理任务中，与人类反应模式高度一致。
• NIPE在预测人类判断方面显著优于LLM基线模型（包括GPT-4），尤其在复杂变体如空间与颜色差异领域表现更优。
• 在空间变体中，由于需要高效路径规划，LLM错误预测智能体正瞄准较近的奖杯（如银色），而人类与NIPE正确推断智能体正朝更远目标（如铜色）前进，表明NIPE具备建模理性规划的能力。
• LLM基线在颜色差异变体上的人类判断相关性接近零，表明其无法稳定应用关于世界动态的抽象规则。
• NIPE在所有四个任务变体中均与人类判断保持强相关性，表明其对语言与结构复杂性的鲁棒性。
• 定性分析显示，NIPE能基于理性与效率正确推断目标，而LLM则常依赖表面线索（如距离或感知价值，如金色与银色奖杯）进行判断。

Figure 2: Correlation between NIPE and baseline LLMs vs. human judgments, aggregated across the goal-inference stimuli. Our model ( Right ) produces posterior probabilities over goals that correlate strongly overall with human judgments; GPT-4 correlates moderately overall ( Middle ) and GPT-3.5 ( L