[论文解读] Prediction and Control with Temporal Segment Models

Nikhil Mishra, Pieter Abbeel+1 more|arXiv (Cornell University)|Mar 12, 2017

Gaussian Processes and Bayesian Inference参考文献 21被引用 22

一句话总结

本文提出一种深度生成模型，通过变分自编码器（VAE）结合潜在动作先验，基于过去状态、过去动作和计划的未来动作，预测整个未来状态轨迹。该方法通过在时间片段上整体建模不确定性，在复杂随机系统中实现稳定、长时程的预测，优于单步模型，在轨迹优化和基于模型的控制任务中表现更优。

ABSTRACT

We introduce a method for learning the dynamics of complex nonlinear systems based on deep generative models over temporal segments of states and actions. Unlike dynamics models that operate over individual discrete timesteps, we learn the distribution over future state trajectories conditioned on past state, past action, and planned future action trajectories, as well as a latent prior over action trajectories. Our approach is based on convolutional autoregressive models and variational autoencoders. It makes stable and accurate predictions over long horizons for complex, stochastic systems, effectively expressing uncertainty and modeling the effects of collisions, sensory noise, and action delays. The learned dynamics model and action prior can be used for end-to-end, fully differentiable trajectory optimization and model-based policy optimization, which we use to evaluate the performance and sample-efficiency of our method.

研究动机与目标

• 解决单步动力学模型在长时程预测中因误差累积导致的不稳定性问题。
• 整体建模整个时间片段内的不确定性与复杂交互（如碰撞和传感噪声），而非逐个时间步进行建模。
• 通过学习与训练数据一致的动作轨迹潜在先验，提升基于模型的强化学习中的样本效率与泛化能力。
• 利用完全可微分的生成动力学模型，实现端到端可微分的轨迹与策略优化。
• 证明基于时间片段的建模方法在随机与非线性环境中，相比标准单步模型，能提供更准确、更鲁棒的预测。

提出的方法

• 该方法使用变分自编码器（VAE）建模在给定过去状态、过去动作和计划未来动作的条件下，未来状态轨迹的条件分布。
• 引入一个独立的VAE来学习动作片段的潜在先验，确保优化后的动作保持在训练数据的分布范围内。
• 通过重构损失与KL散度的组合进行训练，实现解耦且有意义的潜在表征，以编码不确定性。
• 该框架支持通过动力学模型和动作先验的端到端反向传播，实现可微分的轨迹优化。
• 利用卷积自回归网络高效建模状态和动作片段之间的时序依赖关系。
• 显式地对未来的动作序列进行条件建模，支持具有不确定性感知的状态分布的预测性规划。

实验结果

研究问题

• RQ1 在时间片段上整体建模未来状态轨迹，是否能相比单步模型提升长时程预测的准确性？
• RQ2 潜在动作先验在基于模型的强化学习中，如何提升控制策略的一致性与性能？
• RQ3 基于片段的生成模型在多大程度上能捕捉由随机动力学、碰撞和传感噪声引起的不确定性？
• RQ4 潜在动作先验的使用是否能减少训练与推理阶段动作之间的分布偏移，从而提升真实世界策略的迁移能力？
• RQ5 该框架是否能在复杂机器人环境中实现更高效、更稳定的策略优化？

主要发现

• 所提方法在具有随机动力学和碰撞的环境中，相比单步模型，实现了显著更准确的长时程预测。
• 模型有效捕捉了状态轨迹中的不确定性，例如在推动物体环境中的偏转角度和碰撞后运动，如定性样本所示。
• 使用潜在动作先验可使优化过程中的动作序列更平滑、更真实，避免导致现实世界性能不佳的尖锐、不连续动作。
• 结合潜在动作先验的轨迹优化在真实环境中获得更高奖励，表明模型预测与真实动力学之间的差异更小。
• 模型学习到一个有意义的潜在空间，能够表达不确定性——即使在确定性但复杂的系统中，也能通过潜在码表示多种可能的未来。
• 该方法实现了轨迹与策略学习的端到端可微分优化，展示了其在基于模型的强化学习中的实用性。