[论文解读] Universal Convexification via Risk-Aversion

Krishnamurthy Dvijotham, Maryam Fazel+1 more|arXiv (Cornell University)|Jun 3, 2014

Reinforcement Learning in Robotics参考文献 13被引用 3

一句话总结

本文提出了一种通用的凸化框架，通过风险规避的高斯平滑将非凸优化问题转化为凸问题，实现了收敛性保证和次优性界。该框架推导出新型的基于模型和无模型的策略梯度算法，具备全局收敛性，已在数值实验中得到验证。

ABSTRACT

We develop a framework for convexifying a fairly general class of optimization problems. Under additional assumptions, we analyze the suboptimality of the solution to the convexified problem relative to the original nonconvex problem and prove additive approximation guarantees. We then develop algorithms based on stochastic gradient methods to solve the resulting optimization problems and show bounds on convergence rates. %We show a simple application of this framework to supervised learning, where one can perform integration explicitly and can use standard (non-stochastic) optimization algorithms with better convergence guarantees. We then extend this framework to apply to a general class of discrete-time dynamical systems. In this context, our convexification approach falls under the well-studied paradigm of risk-sensitive Markov Decision Processes. We derive the first known model-based and model-free policy gradient optimization algorithms with guaranteed convergence to the optimal solution. Finally, we present numerical results validating our formulation in different applications.

研究动机与目标

• 开发一种使用风险规避平滑的通用框架，用于凸化非凸优化问题。
• 在特定假设下，建立凸化问题与原始非凸问题之间的加法次优性界。
• 设计用于求解凸化问题的随机梯度算法，并提供收敛速率界。
• 将该框架扩展至离散时间动力系统，实现全局收敛的策略优化。
• 提出首个已知的在风险敏感控制设置下具有全局最优性收敛保证的基于模型和无模型的策略梯度算法。

提出的方法

• 该方法将目标函数分解为 $ g(\theta) = f(\theta) + \frac{1}{2}\theta^T R\theta $，其中 $ f $ 通过高斯噪声扰动。
• 定义风险规避平滑算子：$ f_\alpha(\theta) = \frac{1}{\alpha} \log \mathbb{E}_{\omega \sim \mathcal{N}(0,\Sigma)}[\exp(\alpha f(\theta + \omega))] $，当 $ \alpha $ 足够大时可使问题凸化。
• 凸化问题为 $ \min_{\theta \in \mathcal{C}} f_\alpha(\theta) + \frac{1}{2}\theta^T R\theta $，其中 $ R \succeq 0 $，在弱条件下确保凸性。
• 自适应使用随机梯度方法求解凸化问题，收敛速率以迭代次数为基准进行界定。
• 对于动力系统，该框架嵌入于风险敏感的马尔可夫决策过程，与路径积分控制相联系，从而实现策略梯度优化。
• 通过 KL 散度和矩界推导理论保证，得到梯度范数和次优性的界。

实验结果

研究问题

• RQ1 是否可以通过风险规避平滑，将一类通用的非凸优化问题凸化，同时保持有意义的次优性保证？
• RQ2 风险参数 $ \alpha $、噪声协方差 $ \Sigma $ 和函数正则性在何种条件下可确保平滑问题的凸性？
• RQ3 能否对凸化问题自适应地应用随机梯度方法，并提供可证明的收敛速率和次优性界？
• RQ4 该框架能否扩展至离散时间动力系统，以实现全局收敛的策略优化？
• RQ5 该风险规避凸化方法与现有路径积分控制方法之间存在何种理论联系？

主要发现

• 所提出的随机梯度算法在凸化问题上实现了全局收敛性保证，次优性被一个依赖于噪声和风险参数的加法常数所界。
• 对于一般优化问题，该方法在梯度和 Hessian 有界假设下提供 $ \mathcal{O}(\alpha^{-1}) $ 的次优性界。
• 在控制设置中，该框架首次实现了已知的、具有全局最优性收敛保证的基于模型和无模型的策略梯度算法。
• 理论分析表明，平滑问题中梯度的期望范数被有界于 $ \delta^2 $，其中 $ \delta = \sqrt{\frac{\beta\gamma^2}{\sigma^2(1 - \alpha\beta)}} + \kappa R(\mathcal{C}) $，从而确保稳定性。
• 数值结果在多个应用中验证了该框架的有效性，展示了在非凸控制与学习任务中的鲁棒性和收敛性。
• 该方法实现了随迭代次数有利增长的收敛速率，通过矩分析和 KL 散度分析推导出到最优解距离的界。