[论文解读] Sensorimotor learning for artificial body perception

German Diez-Valencia, Takuya Ohashi+2 more|arXiv (Cornell University)|Jan 15, 2019

Action Observation and Synchronization参考文献 11被引用 4

一句话总结

本文提出了一种基于传感器运动学习的多方法框架，用于机器人的人工本体感知，结合了层次化贝叶斯模型、预测编码和生成对抗网络（GANs），以实现无监督的自我检测与跨模态身体表征。通过使用DC-GAN，该方法在仅凭关节角度重建机器人手臂掩码方面实现了84.4%的准确率，展示了无需分割或标记即可实现稳健的自我感知能力。

ABSTRACT

Artificial self-perception is the machine ability to perceive its own body, i.e., the mastery of modal and intermodal contingencies of performing an action with a specific sensors/actuators body configuration. In other words, the spatio-temporal patterns that relate its sensors (e.g. visual, proprioceptive, tactile, etc.), its actions and its body latent variables are responsible of the distinction between its own body and the rest of the world. This paper describes some of the latest approaches for modelling artificial body self-perception: from Bayesian estimation to deep learning. Results show the potential of these free-model unsupervised or semi-supervised crossmodal/intermodal learning approaches. However, there are still challenges that should be overcome before we achieve artificial multisensory body perception.

研究动机与目标

• 通过利用传感器运动偶发性，使机器人能够在无需标记或手动分割的情况下感知自身身体。
• 解决在实时环境中区分自生感官输入（体内）与外部输入（体外）的挑战。
• 开发无监督的、跨模态的学习架构，整合视觉、本体感觉和触觉信号，以估计身体图式。
• 利用深度生成模型在不同背景和传感器配置下实现身体感知的泛化。
• 实现生物上合理的身体感知机制，以复现如橡胶手错觉等现象。

提出的方法

• 使用分层贝叶斯推理网格，基于本体感觉和视觉数据估计视觉区域属于机器人身体的概率。
• 应用带有高斯过程回归的预测编码，以建模前向感官预测并推断最小化自由能边界下的潜在身体状态。
• 使用深度卷积生成对抗网络（DC-GAN）学习前向视觉-运动学模型，从关节角度在合成背景上生成手臂外观。
• 通过背景减除生成随机背景和布尔掩码的合成训练数据，以提升泛化能力。
• 通过基于Wasserstein GAN的去噪自编码器扩展框架，实现无需共享表征的视觉-触觉-本体感觉信号重建。
• 在模拟iCub数据上离线训练模型，数据包括同步的关节角度、触觉传感器阵列以及视觉领域中的2D立方体位置。

实验结果

研究问题

• RQ1 机器人如何仅通过传感器运动反馈，在无标记或分割的情况下学会区分自身身体与环境？
• RQ2 带有高斯过程回归的预测编码能否在机器人身体图式中复现类人本体感觉漂移模式？
• RQ3 基于GAN的模型在无显式分割的情况下，能在多大程度上泛化机器人手臂在多样化背景下的视觉外观？
• RQ4 去噪自编码器架构在从跨模态输入中重建多感官信号（视觉、触觉、本体感觉）方面的有效性如何？
• RQ5 无监督的、自生成的模式在实现稳健且自适应的人工身体感知中起什么作用？

主要发现

• 分层贝叶斯模型成功在无标记条件下区分了体内的视觉源与体外的视觉源，通过贝叶斯滤波视觉和加速度计数据实现了准确的自我检测。
• 预测编码模型通过引入同步的视觉-触觉扰动，在机器人上复现了橡胶手错觉，证明了身体图式适应的合理性。
• DC-GAN在所有测试配置中实现了原始与生成手臂掩码区域匹配的84.4%准确率，即使在未学习的背景类型下也表现良好。
• 当大部分手臂位于视野之外时，模型难以重建手臂，表明在部分可见条件下存在泛化局限性。
• 卷积层能有效从触觉传感器阵列中提取空间结构，但由于模态不匹配，未能产生可靠的触觉信号重建。
• 去噪自编码器成功重建了多模态数据（关节角度、触觉、视觉立方体位置），图4中重建的列与原始数据高度一致。