[论文解读] Path Integral Networks: End-to-End Differentiable Optimal Control

Masashi Okada, Luca Rigazio+1 more|arXiv (Cornell University)|Jun 29, 2017

Neural Networks Stability and Synchronization参考文献 30被引用 41

一句话总结

本文提出路径积分网络（PI-Net），一种完全可微、端到端可训练的循环神经网络，实现了路径积分最优控制算法。通过反向传播联合学习系统动力学和代价模型，PI-Net 实现了在连续控制任务中的基于规划的控制，在线性系统和摆动系统上的模仿学习基准测试中实现了卓越的泛化能力和性能。

ABSTRACT

In this paper, we introduce Path Integral Networks (PI-Net), a recurrent network representation of the Path Integral optimal control algorithm. The network includes both system dynamics and cost models, used for optimal control based planning. PI-Net is fully differentiable, learning both dynamics and cost models end-to-end by back-propagation and stochastic gradient descent. Because of this, PI-Net can learn to plan. PI-Net has several advantages: it can generalize to unseen states thanks to planning, it can be applied to continuous control tasks, and it allows for a wide variety learning schemes, including imitation and reinforcement learning. Preliminary experiment results show that PI-Net, trained by imitation learning, can mimic control demonstrations for two simulated problems; a linear system and a pendulum swing-up problem. We also show that PI-Net is able to learn dynamics and cost models latent in the demonstrations.

研究动机与目标

• 解决反应式深度强化学习策略缺乏规划能力且泛化能力差于未见过状态的局限性。
• 通过从示范中学习，克服在最优控制中手动指定精确系统动力学和代价函数的挑战。
• 利用反向传播和随机梯度下降，实现动力学和代价模型的端到端联合训练。
• 证明可微的最优控制框架可集成到深度学习中，以提升连续控制任务中的泛化能力和规划能力。
• 探索通过统一的可微架构从专家示范中学习潜在动力学和代价函数的可行性。

提出的方法

• 将路径积分最优控制算法表示为循环神经网络（PI-Net），通过所有组件实现可微性。
• 将系统动力学和代价模型整合到单一可微架构中，支持联合端到端训练。
• 使用随机梯度下降和反向传播优化网络参数，最小化基于轨迹代价的控制损失。
• 以可微形式应用路径积分更新规则（公式3），通过轨迹采样迭代优化控制序列。
• 通过最小化预测轨迹与专家轨迹及代价之间的差异，使用模仿学习训练网络。
• 采用局部连接网络（LCNs）和卷积神经网络（CNNs）作为连续控制任务中的基线模型进行比较。

实验结果

研究问题

• RQ1 与反应式策略相比，最优控制的可微神经网络表示是否能在连续控制任务中提升泛化能力？
• RQ2 在无先验知识的情况下，PI-Net 能在多大程度上从专家示范中学习到准确的系统动力学和代价函数？
• RQ3 对动力学和代价模型进行端到端训练，如何影响性能以及对建模误差的鲁棒性？
• RQ4 PI-Net 是否能在连续控制基准测试中超越标准的基于值函数或基于模仿的深度强化学习方法？
• RQ5 架构选择（如 LCN 与 CNN）对高维控制任务中基于规划的控制性能有何影响？

主要发现

• 训练后的 PI-Net 在摆动倒立摆任务中实现了 100% 的成功率，与专家表现一致；而固定动力学的冻结 PI-Net 因建模误差导致泛化能力下降。
• 训练后的 PI-Net 实现了 429.69 的轨迹代价，接近专家的 404.63，表明其有效模仿了最优代价函数。
• 如图 3 所示，PI-Net 中学习到的代价模型与教师模型高度相似，证明了其能准确提取来自示范的潜在代价函数。
• 基于 VIN 的模型（LCN 和 CNN）在摆动任务中完全失败（0% 成功率），凸显了标准值迭代网络在连续控制建模中的困难。
• PI-Net 的测试动力学均方误差为 1.65×10⁻³，测试代价均方误差也为 1.65×10⁻³，表现出强大的泛化能力和精确的模型学习能力。
• 端到端训练使代价模型能够隐式补偿动力学建模误差，从而在鲁棒性和性能上优于固定动力学的基线模型。