[论文解读] Unsupervised Emergence of Egocentric Spatial Structure from Sensorimotor Prediction

Alban Laflaquière, M. Ortíz|City Research Online (City University London)|Jun 4, 2019

Action Observation and Synchronization参考文献 34被引用 4

一句话总结

该论文提出了一种无监督的感官运动预测框架，使智能体能够仅从原始感官运动经验中自主学习到拓扑上和度量上准确的自我中心空间表征，而无需先验知识或监督。关键结果是，通过学习感官运动不变性，训练用于预测未来感官状态的神经网络，会以副产品形式捕捉到空间的欧几里得结构。

ABSTRACT

Despite its omnipresence in robotics application, the nature of spatial knowledge and the mechanisms that underlie its emergence in autonomous agents are still poorly understood. Recent theoretical works suggest that the Euclidean structure of space induces invariants in an agent's raw sensorimotor experience. We hypothesize that capturing these invariants is beneficial for sensorimotor prediction and that, under certain exploratory conditions, a motor representation capturing the structure of the external space should emerge as a byproduct of learning to predict future sensory experiences. We propose a simple sensorimotor predictive scheme, apply it to different agents and types of exploration, and evaluate the pertinence of these hypotheses. We show that a naive agent can capture the topology and metric regularity of its sensor's position in an egocentric spatial frame without any a priori knowledge, nor extraneous supervision.

研究动机与目标

• 探究无监督智能体是否仅通过感官运动经验即可学习到结构化的自我中心空间表征。
• 检验感官运动预测是否能够捕捉外部空间的拓扑与度量不变性。
• 评估此类空间结构是否在无先验知识、手工设计的归纳偏置或外部监督的情况下自然涌现。
• 考察空间表征学习在不同智能体、探索策略及环境复杂度下的鲁棒性。

提出的方法

• 使用深度神经网络，从当前感官输入和运动指令预测未来的感官状态。
• 网络使用共享编码器（Net_enc）将感官和运动输入映射到联合潜在表征 h。
• 通过在未来的感官状态上使用监督预测损失，采用预测自编码器设置，端到端训练模型。
• 采用三种探索策略——随机探索、MEM（记忆高效运动）探索和常规运动采样，以评估泛化能力。
• 通过与真实传感器位置的拓扑（D_topo）和度量（D_metric）差异度量，评估潜在表征 h 的空间结构。
• 在两个环境中测试该框架：离散的二维网格世界和具有6个自由度的连续三维机械臂仿真环境。

实验结果

研究问题

• RQ1 智能体能否通过无监督感官运动预测学习到拓扑上准确的自我中心空间表征？
• RQ2 在无显式监督或手工设计先验的情况下，学习到的表征是否能捕捉空间的度量规律？
• RQ3 空间结构的涌现对智能体形态、探索策略和环境复杂度的变化有多大的鲁棒性？
• RQ4 感官运动不变性（尤其是可补偿变化）在多大程度上在潜在空间中催生出欧几里得空间概念？
• RQ5 潜在表征中的空间结构是否独立于环境内容和感官模态？

主要发现

• 潜在表征 h 成功捕捉了智能体感官位置的拓扑结构，所有环境和探索类型下 D_topo 值均较低。
• 空间的度量规律在 h 中得以保留，D_metric 值表明潜在空间中的距离与环境中真实空间距离高度相关。
• 在6-DOF机械臂设置中，尽管运动空间维度更高，空间规律性仍保持一致，表明该结构对智能体复杂度增加具有鲁棒性。
• 不同探索策略（包括随机和MEM探索）下结果保持一致，表明其泛化能力超越特定运动模式。
• 可视化中使用对数尺度是必要的，因为MEM探索的差异度值较高，但潜在空间中的基本空间结构仍保持完整。
• 训练变异性主要源于初始化和小批量选择的随机性，而非数据集差异，50次独立运行中标准差保持一致。