[论文解读] The Alberta Plan for AI Research

Richard S. Sutton, Michael Bowling+1 more|arXiv (Cornell University)|Aug 23, 2022

Scientific Computing and Data Management被引用 7

一句话总结

阿尔伯塔人工智能研究计划提出了一个长期愿景，旨在通过在复杂、非平稳环境中的持续、时间均匀的学习，推进人工智能的发展。该计划强调将智能视为随时间演变的信号处理，重点关注能够仅通过观察、行动和奖励信号实时学习、规划和适应的智能体，其核心原则包括可扩展性、计算效率以及对外部监督或特定领域设计的最小依赖。

ABSTRACT

Herein we describe our approach to artificial intelligence research, which we call the Alberta Plan. The Alberta Plan is pursued within our research groups in Alberta and by others who are like minded throughout the world. We welcome all who would join us in this pursuit.

研究动机与目标

• 通过长期运行、自主的智能体与复杂动态环境的交互，建立计算智能的基础理解。
• 通过聚焦持续学习与适应而非静态的、任务特定的训练，解决当前人工智能系统的局限性。
• 通过将所有学习建立在原始感官经验（观察、行动、奖励）之上，减少对人工提供监督或特定领域知识的依赖。
• 优先考虑在每个时间步均以相同方式运行的算法与架构——即时间均匀性——从而简化设计并增强可扩展性。
• 探索通过自我改进的智能体实现元学习、内在好奇心和智能增强等高级认知能力的涌现。

提出的方法

• 设计接收环境观察信号和奖励信号并采取行动以控制这些信号的智能体，将智能建模为一个连续的交互过程。
• 实施时间均匀性：所有学习、规划和表征构建均在每个时间步发生，不设置特殊训练阶段或特权信息。
• 使用价值函数泛化（例如，通用价值函数）来估计超出奖励的时序扩展信号，从而支持更丰富的世界建模。
• 开发用于持续学习的元算法和自适应学习率机制，使其能动态响应环境变化，利用优先级传播和时序信用分配等机制。
• 引入分层结构和选项机制，以实现长时程规划和模块化技能获取，同时使协作智能体形成计算外新皮层。
• 利用可扩展的函数逼近和优化技术（例如，Adam、批量归一化）以支持在高维空间中的高效学习。

实验结果

研究问题

• RQ1 人工智能体如何通过与非平稳、部分可观测环境的持续交互，实现长期且稳定的智能？
• RQ2 哪些最简化的算法与架构原则能够使智能体在无特权训练阶段的情况下，实现时间上一致的学习、规划与适应？
• RQ3 内在好奇心和自监督学习如何从智能体与环境的交互中涌现，仅依赖观察、行动和奖励信号？
• RQ4 元学习和自适应学习率在何种方式下可增强智能体对环境变化的响应能力，同时保持时间均匀性？
• RQ5 如何通过智能体协作正式化并实现智能增强，特别是在人机系统或多人智能体系统中？

主要发现

• 学习与规划的时间均匀性可带来更具可扩展性、鲁棒性和泛化能力的智能体设计，降低设计复杂度并提升适应性。
• 通用价值函数（GVFs）使智能体能够估计广泛的时序扩展信号，支持更丰富的世界模型和更优的规划能力。
• 诸如优先级传播和自适应优化（如Adam、RMSprop）等元算法显著提升了在非平稳环境中的样本效率和学习速度。
• 使用选项和分层结构可使智能体高效学习并组合技能，实现长时程决策，而无需显式定义任务。
• 通过协作智能体——其中一个智能体作为另一个智能体的计算外新皮层——实现的智能增强，在人机系统和智能体-智能体设置中均展现出乘法级智能增益的潜力。
• 由于缺乏特殊训练阶段且不依赖外部监督，所构建系统更具可扩展性和泛化能力，与人工智能研究中的“苦 Lesson”原则保持一致。