[论文解读] Predictive Coding for Locally-Linear Control

Rui Shu, Tung Nguyen+6 more|arXiv (Cornell University)|Mar 2, 2020

Advanced Control Systems Optimization参考文献 33被引用 4

一句话总结

本文提出了一种无需解码器的可学习嵌入（LCE）框架，即学习可控嵌入（LCE）框架，该框架用预测编码替代显式的下一步观测预测，以学习用于局部线性控制的可控潜在空间。该方法称为PC3，通过最小化预测次优性并采用信息论目标，实现了更优的控制性能、更高的样本效率以及更快的训练速度。

ABSTRACT

High-dimensional observations and unknown dynamics are major challenges when applying optimal control to many real-world decision making tasks. The Learning Controllable Embedding (LCE) framework addresses these challenges by embedding the observations into a lower dimensional latent space, estimating the latent dynamics, and then performing control directly in the latent space. To ensure the learned latent dynamics are predictive of next-observations, all existing LCE approaches decode back into the observation space and explicitly perform next-observation prediction---a challenging high-dimensional task that furthermore introduces a large number of nuisance parameters (i.e., the decoder) which are discarded during control. In this paper, we propose a novel information-theoretic LCE approach and show theoretically that explicit next-observation prediction can be replaced with predictive coding. We then use predictive coding to develop a decoder-free LCE model whose latent dynamics are amenable to locally-linear control. Extensive experiments on benchmark tasks show that our model reliably learns a controllable latent space that leads to superior performance when compared with state-of-the-art LCE baselines.

研究动机与目标

• 解决使用原始感官输入控制高维、未知动力学系统的问题。
• 克服现有LCE方法依赖高容量解码器进行显式下一步观测预测的局限性。
• 开发一种参数高效、无需解码器的LCE模型，确保预测次优性最小化，以实现有效的潜在空间规划。
• 通过预测编码学习可控潜在动力学模型，实现可靠且高效的局部线性控制。
• 证明预测编码是LCE框架中替代下一步观测预测的理论合理且实证优越的替代方案。

提出的方法

• 通过最小化潜在空间中预测次优性的信息论目标来构建LCE问题。
• 用预测编码替代显式的下一步观测预测，预测编码通过对比预测从上下文重建未来潜在状态。
• 引入预测编码-一致性-曲率（PC3）目标，联合优化表示质量、动力学一致性与曲率正则化。
• 使用对比预测编码损失，确保潜在动力学模型具有预测能力，适用于多步规划。
• 端到端训练编码器与潜在动力学模型，无需解码器，从而降低模型复杂度与参数数量。
• 在训练后，直接在潜在空间中应用局部线性控制方法（如LQR），利用学习到的预测动力学。

实验结果

研究问题

• RQ1 预测编码是否可在LCE框架中作为显式下一步观测预测的可行且理论合理的替代方案？
• RQ2 通过预测编码训练的无解码器LCE模型是否在控制性能与样本效率方面优于依赖下一步观测预测的基线模型？
• RQ3 与基线相比，预测编码如何影响所学潜在空间的可解释性与可控性？
• RQ4 PC3目标中的各个组件（预测编码、一致性、曲率）对最终控制性能的贡献如何？
• RQ5 预测编码是否能在无需解码器的情况下，实现高维观测空间中有效且高效的局部线性控制？

主要发现

• PC3模型在多个基准控制任务中显著优于当前最先进的LCE基线模型（包括PCC和SOLAR），平均性能提升11.3%。
• PC3的训练速度比PCC快1.85倍，比SOLAR快52.8倍，展现出显著的计算效率优势。
• PC3学习到的潜在表示更具可解释性与语义意义，尤其在Pendulum任务中，PCC的下一步观测预测导致表示过于保守。
• 消融研究显示，仅靠预测编码不足以实现良好的规划性能；一致性与曲率正则化对稳定且准确的潜在动力学至关重要。
• PC3可在无需重新训练的情况下，有效复用于多个控制任务，而SOLAR等任务特定方法则不具备此能力。
• 在Swing Up和3-Link等高难度任务中，PC3实现了高成功率，而PCC与SOLAR常因表示质量差或计算成本过高而失败。