[论文解读] Solving the Baby Intuitions Benchmark with a Hierarchically Bayesian Theory of Mind

Tan Zhi‐Xuan, Nishad Gothoskar+4 more|arXiv (Cornell University)|Aug 4, 2022

Child and Animal Learning Development被引用 5

一句话总结

该论文提出了一种分层贝叶斯心智理论（HBToM）模型，通过在代理偏好和效率上使用分层先验，实现对目标导向行为的少样本、可解释推理。该模型通过结构化贝叶斯推理对合理性进行推理，在婴儿直觉基准测试中达到接近完美的准确率，优于深度学习和模仿学习基线模型，同时生成类人的心理状态归因。

ABSTRACT

To facilitate the development of new models to bridge the gap between machine and human social intelligence, the recently proposed Baby Intuitions Benchmark (arXiv:2102.11938) provides a suite of tasks designed to evaluate commonsense reasoning about agents' goals and actions that even young infants exhibit. Here we present a principled Bayesian solution to this benchmark, based on a hierarchically Bayesian Theory of Mind (HBToM). By including hierarchical priors on agent goals and dispositions, inference over our HBToM model enables few-shot learning of the efficiency and preferences of an agent, which can then be used in commonsense plausibility judgements about subsequent agent behavior. This approach achieves near-perfect accuracy on most benchmark tasks, outperforming deep learning and imitation learning baselines while producing interpretable human-like inferences, demonstrating the advantages of structured Bayesian models of human social cognition.

研究动机与目标

• 为解决机器学习模型在推理类人社会认知方面的能力缺口，特别是目标导向行为和偏好方面。
• 开发一种结构化、可解释的模型，以捕捉类婴儿直觉心理学在推理代理目标、偏好和效率方面的表现。
• 证明分层贝叶斯模型可在极少训练数据下于婴儿直觉基准测试中实现高准确率，优于深度学习和模仿学习基线模型。
• 提供一个理论基础坚实、可解释的框架，用于在人工代理中建模心智理论，与民间心理学概念保持一致。

提出的方法

• 该模型在代理偏好（θₙ）和效率（βₙ）上使用分层先验，实现从少量观察中对心理状态的推理。
• 采用贝叶斯逆向规划，从观察到的行为中推断目标和策略，其中策略受代理效率调节。
• 通过在线推理推断目标和效率的后验分布，跨多个熟悉化试验更新信念。
• 通过惊喜度量计算合理性判断，包括目标和效率后验的总变差以及对数似然变化。
• 该框架使用概率编程实现，支持快速在线推理，并可与神经网络引导集成。
• 该模型通过在观察到的状态-动作轨迹上进行贝叶斯条件化隐式训练，无需显式反向传播。

实验结果

研究问题

• RQ1 具有分层先验的结构化贝叶斯模型能否从少量观察试验中准确推断代理目标和倾向，从而模仿类婴儿直觉心理学？
• RQ2 在婴儿直觉基准测试中，分层贝叶斯推理与深度学习和模仿学习基线模型相比，在推理代理合理性方面表现如何？
• RQ3 基于目标和效率后验变化的惊喜度量在多大程度上能解释类人的合理性判断？
• RQ4 该模型能否在无需大规模训练数据的情况下，产生可解释、人类可理解的关于代理倾向和心理状态的推理？
• RQ5 不同惊喜度量（如目标后验变化、效率后验变化、对数似然）在确定合理性方面各自发挥什么作用？它们能否独立使用？

主要发现

• HBToM 模型在婴儿直觉基准测试的大多数任务中实现了接近完美的成对准确率，显著优于深度学习和模仿学习基线模型。
• 在偏好和效率任务中，该模型的准确率接近 100%，展现出从极少观察中实现强大少样本泛化的能力。
• 该模型通过追踪目标和效率后验的变化，实现可解释的推理，例如在观察到新代理时信念回归先验。
• 即使在某些子任务上的表现略低于某些基线模型，HBToM 模型在所有基准任务中仍保持高度一致性和鲁棒性。
• 消融分析表明，单一惊喜度量不足以独立发挥作用；必须结合多种度量才能捕捉人类合理性判断的全部复杂性。
• 该模型的结构化先验实现了无需大量训练的快速、理论驱动的推理，凸显了归纳偏置在社会认知建模中的优势。