[论文解读] Towards A Theory-Of-Mind-Inspired Generic Decision-Making Framework

Mihai Polceanu, Cédric Buche|arXiv (Cornell University)|May 20, 2014

Data Visualization and Analytics被引用 20

一句话总结

本文提出了一种受心智理论启发的通用决策框架，通过使用环境模型的多重模拟，使智能体能够预测结果、适应动态环境，并通过模型优化提升决策质量。该方法在 IJCAI2013 AIBirds 竞赛中取得了具有竞争力的性能，展现出稳定且可重复的决策，即使在模型不完善的情况下也能有效发现策略。

ABSTRACT

Simulation is widely used to make model-based predictions, but few approaches have attempted this technique in dynamic physical environments of medium to high complexity or in general contexts. After an introduction to the cognitive science concepts from which this work is inspired and the current development in the use of simulation as a decision-making technique, we propose a generic framework based on theory of mind, which allows an agent to reason and perform actions using multiple simulations of automatically created or externally inputted models of the perceived environment. A description of a partial implementation is given, which aims to solve a popular game within the IJCAI2013 AIBirds contest. Results of our approach are presented, in comparison with the competition benchmark. Finally, future developments regarding the framework are discussed.

研究动机与目标

• 开发一种通用的、非特定案例的决策框架，适用于多种动态环境。
• 通过模拟环境的多种模型（包括外部提供或自动生成的模型），使智能体能够预测行动结果。
• 通过将模拟结果与真实世界观测进行比较，实现模型迭代优化，从而提升决策效率。
• 通过基于模拟结果与实际结果之间差异的内部模型更新，支持学习与适应。
• 构建可扩展的架构，整合结构化与行为模型，以应对复杂虚拟环境。

提出的方法

• 该框架采用三部件架构：环境建模、心理模拟与模型优化，三者并行运行。
• 利用心理模拟通过模拟各种环境模型（包括来自传感器输入或外部来源的模型）来预测行动结果。
• 系统维护多个环境模型，以支持模型选择，并在不确定或复杂场景中提升鲁棒性。
• 决策基于模拟结果，策略根据多轮模拟中预测的成功率进行选择。
• 通过将模拟结果与真实环境反馈进行对比，迭代提升模型准确性，从而实现学习与适应。
• 该框架支持人工编写的模型与自动生成的模型，采用元建模方法以增强可扩展性。

实验结果

研究问题

• RQ1 基于心智理论的通用决策框架是否能在复杂动态环境中实现有效的预测与适应？
• RQ2 使用多种环境模型进行心理模拟在多大程度上能提升决策质量与鲁棒性？
• RQ3 在基于模拟的决策系统中，通过真实世界结果反馈，模型准确性能在多大程度上得到提升？
• RQ4 该框架是否能在无需特定案例调优的情况下，在 AIBirds 等真实世界 AI 基准测试中取得具有竞争力的表现？
• RQ5 在相同感知条件下，基于模拟的决策是否具有高度稳定性和可重复性？

主要发现

• 该框架在 IJCAI2013 AIBirds 竞赛的所有关卡中平均得分为 35,842.5，多数关卡超过基线表现。
• 智能体表现出高度的决策稳定性，在相同感知条件下产生完全相同的得分，归因于模拟输出的一致性。
• 系统成功发现有效策略，例如在《Poached Eggs》关卡第二关中发现最优轨迹，如图 5 所示的视觉叠加结果所证实。
• 在第七关仅出现 3 次失败，第九关仅 1 次失败，显著少于基线方法，表明鲁棒性显著提升。
• 重复相同输入时决策一致，验证了模拟的稳定性，表明模型行为可靠。
• 模型不准确导致决策次优，但模型保真度越高，策略发现能力与整体性能也越优。