[论文解读] On the Convergence and Optimality of Policy Gradient for Markov Coherent Risk

Audrey Huang, Liu Leqi+2 more|arXiv (Cornell University)|Mar 4, 2021

Reinforcement Learning in Robotics参考文献 27被引用 5

一句话总结

本文為馬爾可夫一致風險（MCR）優化中的策略梯度（PG）方法建立了理論收斂保證，證明由於缺乏梯度支配性，PG通常無法收斂至全域最優解。本文提出一種利用狀態分佈重加權的可處理PG演算法，並提供一個依賴於風險敏感度與目標函數非線性的緊緻次優性界，顯示該方法在風險敏感強化學習環境中具備實用有效性。

ABSTRACT

In order to model risk aversion in reinforcement learning, an emerging line of research adapts familiar algorithms to optimize coherent risk functionals, a class that includes conditional value-at-risk (CVaR). Because optimizing the coherent risk is difficult in Markov decision processes, recent work tends to focus on the Markov coherent risk (MCR), a time-consistent surrogate. While, policy gradient (PG) updates have been derived for this objective, it remains unclear (i) whether PG finds a global optimum for MCR; (ii) how to estimate the gradient in a tractable manner. In this paper, we demonstrate that, in general, MCR objectives (unlike the expected return) are not gradient dominated and that stationary points are not, in general, guaranteed to be globally optimal. Moreover, we present a tight upper bound on the suboptimality of the learned policy, characterizing its dependence on the nonlinearity of the objective and the degree of risk aversion. Addressing (ii), we propose a practical implementation of PG that uses state distribution reweighting to overcome previous limitations. Through experiments, we demonstrate that when the optimality gap is small, PG can learn risk-sensitive policies. However, we find that instances with large suboptimality gaps are abundant and easy to construct, outlining an important challenge for future research.

研究动机与目标

• 探討在優化馬爾可夫一致風險（MCR）時，策略梯度（PG）方法是否能收斂至全域最優解，MCR是協調風險泛函的時間一致性替代指標。
• 解決在線上與離線設定下，以可處理方式估計MCR梯度的挑戰，特別是針對MCR梯度的估計問題。
• 描述PG解在MCR下的次優性，特別是與目標函數非線性程度及風險厭惡程度的關係。
• 設計一種實用的PG演算法，以克服先前方法中對重加權狀態分佈取樣的強烈假設。
• 透過實驗驗證所提方法在風險敏感環境中的有效性，顯示即使存在固有的次優性差距，該方法仍具實用效能。

提出的方法

• 提出一種新型策略梯度演算法，透過函數近似進行狀態分佈重加權，以估計MCR梯度，且無需直接從重加權分佈中取樣。
• 利用離線評估技術（Liu et al., 2018）修正狀態分佈偏移，進而使線上強化學習設定下的實際梯度估計成為可能。
• 推導MCR目標的拉格朗日形式化，以支援針對策略、風險包絡與對偶變數的梯度計算。
• 引入雙層優化架構：一層用於學習風險包絡（透過ξ-網路），另一層用於學習對偶變數（透過λ-網路），採用極小-極大更新機制。
• 採用靜態狀態分佈重加權方法，以近似MCR梯度計算中所需的重加權分佈期望。
• 將梯度估計器整合至演員-critic架構中，支援使用標準PG更新的端到端訓練。

实验结果

研究问题

• RQ1 MCR目標是否具有梯度支配性？這是否意味著PG會收斂至全域最優解？
• RQ2 在MCR優化中，靜態點的次優性差距的最緊密可能上界為何？
• RQ3 能否在不假設可取得重加權狀態分佈的情況下，以可處理且實際的方式估計MCR梯度？
• RQ4 次優性差距如何依賴於風險敏感度與目標函數的非線性程度？
• RQ5 能否設計並實現一種實用的PG演算法用於MCR，以避免強烈的取樣假設，並支援實證評估？

主要发现

• MCR目標在一般情況下不具梯度支配性，意味著策略梯度方法無法保證收斂至全域最優解。
• 推導出次優性差距的緊緻上界，其依賴於目標函數的非線性程度與風險厭惡程度。
• 對MCR採用投影梯度下降法時，會收斂至次優性差距受相同殘差邊界限制的解，達到O(1/√T)的收斂速率。
• 在期望回報下，次優性差距會消失，從而恢復標準PG理論中已知的收斂結果。
• 所提出的利用狀態分佈重加權的方法，使MCR的PG訓練得以實際進行，克服了先前對重加權分佈取樣的假設。
• 實驗結果顯示，當次優性差距較小時，PG能學習到風險敏感策略；但當差距較大時，則常見且易於構造，凸顯未來研究中的關鍵挑戰。