[论文解读] Stochastic Optimal Control as Approximate Input Inference

Joe Watson, Hany Abdulsamad+1 more|arXiv (Cornell University)|Oct 7, 2019

Gaussian Processes and Bayesian Inference参考文献 22被引用 5

一句话总结

本文提出了控制输入推断（I2C），一种新颖的控制即推理框架，将随机最优控制表述为对控制输入的近似贝叶斯推断。通过在概率图模型中利用消息传递和期望最大化（EM）算法，I2C通过先验分布实现有原则的正则化，推导出时变的线性高斯控制器，无需显式熵项即可实现最大熵行为，并在随机环境中展现出优于iLQR和GPS的收敛性与鲁棒性。

ABSTRACT

Optimal control of stochastic nonlinear dynamical systems is a major challenge in the domain of robot learning. Given the intractability of the global control problem, state-of-the-art algorithms focus on approximate sequential optimization techniques, that heavily rely on heuristics for regularization in order to achieve stable convergence. By building upon the duality between inference and control, we develop the view of Optimal Control as Input Estimation, devising a probabilistic stochastic optimal control formulation that iteratively infers the optimal input distributions by minimizing an upper bound of the control cost. Inference is performed through Expectation Maximization and message passing on a probabilistic graphical model of the dynamical system, and time-varying linear Gaussian feedback controllers are extracted from the joint state-action distribution. This perspective incorporates uncertainty quantification, effective initialization through priors, and the principled regularization inherent to the Bayesian treatment. Moreover, it can be shown that for deterministic linearized systems, our framework derives the maximum entropy linear quadratic optimal control law. We provide a complete and detailed derivation of our probabilistic approach and highlight its advantages in comparison to other deterministic and probabilistic solvers.

研究动机与目标

• 解决类似iLQR和GPS等确定性轨迹优化方法中存在的不稳定性和启发式正则化问题。
• 通过将控制重新解释为不确定性下的输入估计，统一最优控制与贝叶斯推断。
• 通过控制上的先验分布实现有原则的不确定性量化与自然正则化。
• 从后验状态-动作分布中推导出时变的线性高斯反馈控制器。
• 通过贝叶斯框架自然实现最大熵控制行为，而无需在目标函数中显式加入熵项。

提出的方法

• 利用动态系统的概率图模型，将最优控制重新表述为对控制输入的贝叶斯推断。
• 在E步中应用近似期望最大化（EM）算法，结合线性化高斯消息传递进行输入推断。
• 在M步中通过似然最大化优化超参数，包括控制先验和噪声方差。
• 从后验联合状态-动作分布中推导出时变的线性高斯控制器。
• 利用二次代价函数与高斯噪声之间的对偶性，在确定性极限下建立与LQR的等价性。
• 利用消息传递计算控制律的充分统计量，与离散代数 Riccati 方程（DARE）建立联系。

实验结果

研究问题

• RQ1 最优控制能否被重新解释为对输入的近似贝叶斯推断，从而实现更稳定和有原则的优化？
• RQ2 在控制推断中使用先验与iLQR和GPS等方法中的启发式正则化相比有何差异？
• RQ3 所提出的框架是否能自然地产生最大熵控制策略，而无需显式熵项？
• RQ4 通过局部线性化，该方法在非线性系统上的泛化程度如何？
• RQ5 在随机环境中，I2C与iLQR和GPS相比，在成本和鲁棒性方面的表现如何？

主要发现

• 在摆杆倒立任务中，I2C的预测成本为1.35×10⁴，100次试验的评估成本为1.37×10⁴ ± 3.82，均优于iLQR和GPS，且在均值和方差上表现更优。
• 在CartPole环境中，I2C的预测成本为1.73×10⁵，评估成本为1.74×10⁵ ± 0.14，表现出高度一致性和稳定性。
• 在双摆杆倒立任务中，I2C的预测成本为3.12×10⁵，评估成本为3.21×10⁵ ± 1.79，显著优于iLQR和GPS，成本与方差均更优。
• 在确定性线性情况下，该框架恢复了标准LQR解，验证了理论一致性。
• 推导出的控制器自然表现出最大熵特性，而无需在目标函数中显式加入熵正则化项。
• I2C展现出自正则化的探索行为，其中输入协方差反映了置信度与鲁棒性，减少了对启发式调参的依赖。