[论文解读] PVEs: Position-Velocity Encoders for Unsupervised Learning of Structured State Representations

Rico Jonschkowski, Roland Hafner+2 more|arXiv (Cornell University)|May 27, 2017

Human Pose and Action Recognition参考文献 11被引用 36

一句话总结

该论文提出位置-速度编码器（PVEs），一种自监督方法，通过在无重建损失的情况下将图像编码为位置和速度状态，从像素中学习结构化的状态表征。通过利用有限差分强制估计速度，并优化与机器人先验的一致性，PVEs 获得准确且解耦的状态表征，从而在模拟控制任务中实现样本高效的强化学习。

ABSTRACT

We propose position-velocity encoders (PVEs) which learn---without supervision---to encode images to positions and velocities of task-relevant objects. PVEs encode a single image into a low-dimensional position state and compute the velocity state from finite differences in position. In contrast to autoencoders, position-velocity encoders are not trained by image reconstruction, but by making the position-velocity representation consistent with priors about interacting with the physical world. We applied PVEs to several simulated control tasks from pixels and achieved promising preliminary results.

研究动机与目标

• 从原始像素中无监督地学习与任务相关的状态表征，无需图像重建。
• 将状态表征分解为独立的位置和速度分量，以提升可解释性和物理一致性。
• 利用机器人先验（如平滑运动和物理合理性）作为归纳偏置，指导无监督表征学习。
• 仅使用学习到的状态表征，无需真实状态标签，实现有效的强化学习。
• 证明可直接从模拟环境中的视觉观测中学习到结构化且具有物理启发的表征。

提出的方法

• PVEs 使用神经编码器将单张图像编码为低维位置状态。
• 速度状态通过连续位置状态之间的有限差分计算得出，对时间动态施加硬性模型约束。
• 通过梯度下降训练编码器，最小化衡量与机器人先验在位置、速度和加速度上不一致性的加权损失和。
• 机器人先验包括运动平滑性、轨迹的物理合理性以及与已知动力学的一致性，以软正则化目标形式编码。
• 该方法避免训练解码器或使用重建损失，转而依赖与先验一致的动力学和结构约束。
• 反向传播在状态空间中施加力，引导编码器学习与物理直觉和任务结构一致的表征。

实验结果

研究问题

• RQ1 无监督方法能否在无任何真实状态标签的情况下，从原始像素中学习到解耦的位置和速度状态表征？
• RQ2 有限差分速度估计约束在提升学习到的状态表征质量和物理合理性方面有多有效？
• RQ3 机器人先验（如平滑运动和一致动力学）在多大程度上能改善视觉控制任务中的无监督表征学习？
• RQ4 基于PVE学习到的表征训练的强化学习策略能否在模拟控制任务中实现高性能？
• RQ5 相机视角选择（静态 vs. 移动）在多大程度上影响学习到的状态表征质量和下游控制性能？

主要发现

• PVEs 有效学习到模拟环境中物体真实位置和速度的状态表征，重建误差极低：在倒立摆任务中，$\cos(\theta_{\textrm{pole}})$ 的误差为 0.0013，$\sin(\theta_{\textrm{pole}})$ 的误差为 0.0012。
• 由于有限差分导致噪声放大，速度估计误差高于位置误差，$\dot{\theta}_{\textrm{pole}}$ 的误差为 0.0110，在静态相机设置下误差翻倍。
• 使用PVE学习到的状态进行强化学习，在倒立摆任务中 50 个周期内达到最优性能，在小车-摆杆任务中 300 个周期内达到最优性能，优于随机编码器基线。
• 静态相机设置导致性能下降，主要由于状态估计噪声增加，尤其在球入杯任务中对杯子速度的估计噪声更大。
• 在球入杯任务中，基于PVE的控制优于基线，但未能稳定解决任务，原因在于速度状态的估计噪声过高。
• 该方法对不同相机视角表现出鲁棒性，且在不同视角下学习到等效的表征，表明状态空间具有结构一致性。