[论文解读] On Connections between Constrained Optimization and Reinforcement Learning

Nino Vieillard, Olivier Pietquin+1 more|arXiv (Cornell University)|Oct 18, 2019

Reinforcement Learning in Robotics参考文献 20被引用 7

一句话总结

本文通过将三种动态规划算法——保守策略迭代（Conservative Policy Iteration）、镜面下降修改策略迭代（Mirror Descent Modified Policy Iteration）和Politex——分别与基础凸优化算法——Frank-Wolfe、镜面下降（Mirror Descent）和对偶平均（Dual Averaging）——建立正式的算法关联，揭示了约束优化与强化学习之间的算法联系。核心贡献是一个统一框架，揭示了共享的结构原理，从而促进优化理论与强化学习之间的交叉融合，推动设计更高效、更可分析的算法。

ABSTRACT

Dynamic Programming (DP) provides standard algorithms to solve Markov Decision Processes. However, these algorithms generally do not optimize a scalar objective function. In this paper, we draw connections between DP and (constrained) convex optimization. Specifically, we show clear links in the algorithmic structure between three DP schemes and optimization algorithms. We link Conservative Policy Iteration to Frank-Wolfe, Mirror-Descent Modified Policy Iteration to Mirror Descent, and Politex (Policy Iteration Using Expert Prediction) to Dual Averaging. These abstract DP schemes are representative of a number of (deep) Reinforcement Learning (RL) algorithms. By highlighting these connections (most of which have been noticed earlier, but in a scattered way), we would like to encourage further studies linking RL and convex optimization, that could lead to the design of new, more efficient, and better understood RL algorithms.

研究动机与目标

• 正式建立强化学习中动态规划算法与凸优化算法之间的算法类比。
• 统一此前孤立或非正式观察到的强化学习与优化之间的不同关联。
• 实现将优化技术（如正则化与收敛性分析）向强化学习算法设计的迁移。
• 通过优化视角为理解与改进现代强化学习算法提供更清晰的理论基础。
• 借助凸优化的洞见，启发设计更高效、更易理解的新一代强化学习算法。

提出的方法

• 通过将状态-动作值函数用作梯度估计，将保守策略迭代的迭代结构映射到Frank-Wolfe算法。
• 通过将策略更新与Bregman散度正则化对齐，建立镜面下降修改策略迭代与镜面下降算法之间的等价性。
• 将Politex重新解释为一种对偶平均方案，其中策略更新基于累积的状态-动作值估计，并通过熵进行正则化。
• 将这些关联推广至修改策略迭代框架，允许部分策略评估，同时保持算法类比关系。
• 利用贝尔曼算子与价值函数动态，推导出优化步骤与强化学习策略改进之间的类比关系。
• 通过共享的更新规则形式化对应关系：策略更新为线性项最大化减去正则项，其中梯度由估计的Q值替代。

实验结果

研究问题

• RQ1 保守策略迭代与Frank-Wolfe算法在策略改进与收敛性方面，其算法结构有何异同？
• RQ2 镜面下降修改策略迭代在何种程度上反映了凸优化中镜面下降的行为特征？
• RQ3 对偶平均方案与Politex算法在策略更新规则方面存在何种精确关联？
• RQ4 这些强化学习与优化算法之间的结构相似性能否被用于提升强化学习的收敛性或样本效率？
• RQ5 来自凸优化的哪些理论洞见可被迁移以更好地理解与分析现代强化学习算法？

主要发现

• 当使用状态-动作值函数作为梯度估计时，保守策略迭代在算法上等价于Frank-Wolfe方法。
• 镜面下降修改策略迭代与镜面下降算法完全对应，其策略更新通过Bregman散度实现正则化。
• Politex在形式上等价于对偶平均方案，其中Q值的累积和充当对偶平均项。
• 这些关联在修改策略迭代变体中依然成立，即使采用部分策略评估，表明类比关系具有鲁棒性。
• 结果表明，正则化与收敛性分析等优化技术可被直接应用于改进与分析强化学习算法。
• 该框架提供了一个统一的视角，使基于成熟的凸优化理论来理解与设计强化学习算法成为可能。