[论文解读] Representing Knowledge as Predictions (and State as Knowledge)

Mark Ring|arXiv (Cornell University)|Dec 12, 2021

Philosophy and History of Science被引用 4

一句话总结

本文提出了一种分层知识表现场景，其中人工智能智能体通过通用价值函数（GVFs），即“预测”，直接从原始感官运动经验中学习抽象的高层知识。通过递归预测基于动作的未来状态和特征，智能体构建了从原始像素和触觉到墙壁、房间和门框等概念的分层抽象，从而实现无需人工标注符号的直观、基于经验的推理。

ABSTRACT

This paper shows how a single mechanism allows knowledge to be constructed layer by layer directly from an agent's raw sensorimotor stream. This mechanism, the General Value Function (GVF) or "forecast," captures high-level, abstract knowledge as a set of predictions about existing features and knowledge, based exclusively on the agent's low-level senses and actions. Thus, forecasts provide a representation for organizing raw sensorimotor data into useful abstractions over an unlimited number of layers--a long-sought goal of AI and cognitive science. The heart of this paper is a detailed thought experiment providing a concrete, step-by-step formal illustration of how an artificial agent can build true, useful, abstract knowledge from its raw sensorimotor experience alone. The knowledge is represented as a set of layered predictions (forecasts) about the agent's observed consequences of its actions. This illustration shows twelve separate layers: the lowest consisting of raw pixels, touch and force sensors, and a small number of actions; the higher layers increasing in abstraction, eventually resulting in rich knowledge about the agent's world, corresponding roughly to doorways, walls, rooms, and floor plans. I then argue that this general mechanism may allow the representation of a broad spectrum of everyday human knowledge.

研究动机与目标

• 解决人工智能与认知科学中长期存在的挑战：将高层知识与其在感官运动经验中的现实基础相连接。
• 证明抽象且实用的知识（如对物体属性或空间布局的理解）可自然地从低层次交互中涌现，而无需人工标注的符号。
• 提供一种形式化、分步的机制，通过未来状态的预测建模构建分层知识表征。
• 论证该框架可表征广泛的人类日常知识，包括直观的物理与空间推理。
• 将此方法定位为持续学习系统的基础，使知识能通过经验逐步积累，类似于人类的发展过程。

提出的方法

• 使用通用价值函数（GVFs），亦称“预测”，将知识表示为基于当前观测和动作对未来特征或状态的预测。
• 以分层、逐层的方式构建知识：低层处理原始感官输入（如像素、触觉），高层则抽象为墙壁、房间和门框等概念。
• 采用递归的时间差分更新机制（公式11），支持任意策略下的学习，并通过重要性采样校正离策略数据。
• 将预测定义为状态特征上的价值函数，目标为即时与未来预测的加权组合：$ f(s) = \beta(s)z(s) + (1 - \beta(s))c(s) + \sum_{s'} P(s, s') f(s') $，以实现稳定学习。
• 引入一组结构化的预测、选项和别名（如“墙在右前方”、“前往房间中心”），以从原始动作逐步构建更抽象的表征。
• 采用策略无关的学习框架，支持离策略训练，使智能体即使在行为策略与目标策略不同时，也能从多样化经验中学习。

实验结果

研究问题

• RQ1 能否直接从原始感官运动数据中构建高层抽象知识（如对物体属性或空间布局的理解），而无需人工标注的符号？
• RQ2 单一统一机制（GVFs）如何支持从低层次感官输入构建分层、分层的知识表征？
• RQ3 对未来状态的预测模型在多大程度上可作为直观推理（如估算物体重量、大小或稳定性）的基础？
• RQ4 该框架能否支持持续学习，使知识通过与环境的持续互动而积累并演化？
• RQ5 如何将离策略学习整合到此框架中，以实现在多样化经验轨迹上的高效且稳定学习？

主要发现

• 该框架成功构建了12层抽象层次——从原始感官输入到高层空间概念（如房间和门框）——展示了通向类人直观知识的可行路径。
• 使用GVFs使智能体能够将知识表示为对未来状态的预测，从而通过想象中的交互来推理物体属性（如重量、柔软度）。
• 递归更新规则（公式11）支持任意策略下的时间差分学习，即使行为策略与目标策略不同，也能实现稳定高效的训练。
• 系统通过重要性采样校正支持离策略学习，使其在行为策略与目标策略不一致的真实世界部署中更具实用性。
• 该方法可通过简单预测和选项的组合，实现复杂高层概念（如“房间中心”、“走廊中段”）的涌现。
• 该框架提供了一种机制，不仅可表征事实，还可表征直观的、基于经验的知识（如对气球行为的预期），而无需显式符号编码。