[论文解读] Prediction, Consistency, Curvature: Representation Learning for Locally-Linear Control

Nir Levine, Yinlam Chow+4 more|arXiv (Cornell University)|Sep 4, 2019

Gaussian Processes and Bayesian Inference参考文献 29被引用 8

一句话总结

本文提出了预测性、一致性与曲率（PCC）框架，用于学习适用于局部线性控制算法（如iLQR）的潜在表征。通过将表征学习建模为最优控制问题，PCC引入了一个包含三个组成部分的损失函数——预测、一致性和曲率，从而实现了稳定且可复现的训练，并在基于视觉的控制任务中相比先前方法展现出更优的控制性能。

ABSTRACT

Many real-world sequential decision-making problems can be formulated as optimal control with high-dimensional observations and unknown dynamics. A promising approach is to embed the high-dimensional observations into a lower-dimensional latent representation space, estimate the latent dynamics model, then utilize this model for control in the latent space. An important open question is how to learn a representation that is amenable to existing control algorithms? In this paper, we focus on learning representations for locally-linear control algorithms, such as iterative LQR (iLQR). By formulating and analyzing the representation learning problem from an optimal control perspective, we establish three underlying principles that the learned representation should comprise: 1) accurate prediction in the observation space, 2) consistency between latent and observation space dynamics, and 3) low curvature in the latent space transitions. These principles naturally correspond to a loss function that consists of three terms: prediction, consistency, and curvature (PCC). Crucially, to make PCC tractable, we derive an amortized variational bound for the PCC loss function. Extensive experiments on benchmark domains demonstrate that the new variational-PCC learning algorithm benefits from significantly more stable and reproducible training, and leads to superior control performance. Further ablation studies give support to the importance of all three PCC components for learning a good latent space for control.

研究动机与目标

• 解决在高维观测空间中学习适用于局部线性控制（LLC）算法的潜在表征的挑战。
• 识别并形式化潜在空间应满足的三个关键原则——预测、一致性和曲率，以实现通过LLC方法进行有效控制。
• 开发一种可计算的变分推断方法，用于在PCC目标下训练潜在变量模型，确保计算可行性。
• 通过实证验证，确认PCC的三个组成部分对实现高性能控制和训练稳定性均不可或缺。

提出的方法

• 从最优控制视角重新表述表征学习问题，推导出三个原则：对观测动态的准确预测、潜在动态与真实动态之间的一致性，以及潜在转移的低曲率。
• 设计一个由三项组成PCC损失函数：预测损失（重构误差）、一致性损失（匹配编码轨迹动态）和曲率损失（最小化潜在动态的Hessian范数）。
• 推导PCC损失的近似变分界，以实现训练的可操作性，支持潜在模型的端到端可微训练。
• 在曲率损失中引入雅可比矩阵计算的直接近似，以提升训练效率与稳定性。
• 采用变分自编码器架构，配备独立的动态与反向动态头，联合在PCC目标下进行训练。
• 在潜在空间中使用迭代LQR（iLQR）进行规划，利用低曲率特性实现高精度的一阶近似。

实验结果

研究问题

• RQ1 能否系统地从最优控制原理出发推导出一种表征学习框架，以提升局部线性控制算法的性能？
• RQ2 潜在空间的哪些特定属性可确保在潜在空间中使用iLQR规划能产生近似最优的控制策略？
• RQ3 预测、一致性和曲率损失组件如何共同影响训练稳定性和控制性能？
• RQ4 所提出的曲率正则化项在实践中是否有效且计算可行？
• RQ5 消融研究在多大程度上证实了PCC框架中三个组件的必要性？

主要发现

• 在噪声Planar环境中，PCC模型在最佳模型下实现了44.7%的成功率，显著优于E2C（6.1%）和RCE（5.5%），在基于视觉的控制基准测试中表现优异。
• 在无噪声Planar环境中，PCC在所有模型中达到17.9%的成功率，远超E2C的0.6%和R2C的1.2%，展现出显著的性能提升。
• 消融研究证实，若移除一致性或曲率正则化，性能将显著下降，验证了两个组件的必要性。
• PCC的训练过程比基线方法更稳定且可复现，在所有评估环境中，不同随机种子下的方差更低。
• 所提出的曲率正则化项具有新颖性且有效，通过雅可比矩阵计算的直接近似，实现了高效且稳定的训练。
• 在三连杆机械臂任务中，PCC在噪声环境下实现了1.8%的成功率（RCE为0%，E2C为1.3%），表现出对高噪声的鲁棒性。