[论文解读] Using Adaptive Dynamic Programming to Understand and Replicate Brain Intelligence: the Next Level Design

Paul J. Werbos|ArXiv.org|Dec 24, 2006

Adaptive Dynamic Programming Control参考文献 2被引用 5

一句话总结

本文提出将自适应动态规划（ADP）作为建模和复制高级脑智能的框架，强调创造力、时空复杂性管理以及基于效用的学习。通过引入先进的ADP工具，弥合现有模型与大脑能力之间的差距，推动自适应评论系统从第一代和第二代迈向面向通用人工智能的下一代架构。

ABSTRACT

Since the 1960s I proposed that we could understand and replicate the highest level of intelligence seen in the brain, by building ever more capable and general systems for adaptive dynamic programming (ADP), which is like reinforcement learning but based on approximating the Bellman equation and allowing the controller to know its utility function. Growing empirical evidence on the brain supports this approach. Adaptive critic systems now meet tough engineering challenges and provide a kind of first-generation model of the brain. Lewis, Prokhorov and myself have early second-generation work. Mammal brains possess three core capabilities, creativity/imagination and ways to manage spatial and temporal complexity, even beyond the second generation. This paper reviews previous progress, and describes new tools and approaches to overcome the spatial complexity gap.

研究动机与目标

• 通过扩展自适应动态规划（ADP）原理，开发一种用于建模和复制人类水平智能的下一代框架。
• 通过引入新型ADP工具和架构，解决现有类脑AI模型在空间复杂性方面的差距。
• 将神经科学的洞见——特别是关于效用函数、想象力和时间处理——整合到统一的计算框架中。
• 超越第一代和第二代自适应评论系统，构建更全面的哺乳动物大脑能力模型。
• 为构建模拟大脑最高级认知功能（如规划和创造力）的智能系统，提供理论和方法论基础。

提出的方法

• 利用自适应动态规划（ADP），一种基于近似贝尔曼方程并整合已知效用函数的强化学习变体。
• 引入增强的ADP架构，通过递归效用近似建模更高阶认知功能，如想象力和长期规划。
• 采用基于效用的学习方法，模拟与大脑机制（尤其是前额叶和顶叶皮层区域）相匹配的决策过程。
• 整合时间与空间抽象机制，以管理复杂、多步骤任务，受大脑神经钟机制和预测编码的启发。
• 通过嵌入自我一致性规划和未来状态内部模拟机制，扩展先前的自适应评论模型。
• 采用混合方法，结合神经生物学证据与控制理论原理，设计可扩展且生物上合理的学习系统。

实验结果

研究问题

• RQ1 如何扩展自适应动态规划以建模大脑的最高级认知功能，如创造力和想象力？
• RQ2 在当前基于ADP的脑智能模型中，为克服空间复杂性差距，需要哪些架构和算法增强？
• RQ3 如何有效建模和学习效用函数，使其与大脑内部奖励和预测系统相匹配？
• RQ4 现有自适应评论系统在复制哺乳动物大脑能力方面，除基本强化学习外，存在哪些不足？
• RQ5 如何将时间与空间抽象整合到ADP中，以支持长时程规划和复杂决策？

主要发现

• 本文确立了自适应动态规划为建模和复制高级脑智能提供了可行的理论与计算框架。
• 提出了新型ADP工具以解决空间复杂性差距，使认知建模更具可扩展性和生物合理性。
• 实证与理论证据支持效用函数和递归规划在类脑智能中的作用，与观察到的神经机制一致。
• 将内部模拟与想象力整合到ADP系统中，可实现更鲁棒和灵活的决策，接近人类水平的认知表现。
• 该框架超越第一代和第二代自适应评论系统，为类脑通用人工智能的第三代模型提供了路径。
• 引入时间动态与神经钟机制，增强了系统管理长时程任务和预测推理的能力。