[论文解读] RMIX: Learning Risk-Sensitive Policies for Cooperative Reinforcement Learning Agents

Wei Qiu, Xinrun Wang+6 more|arXiv (Cornell University)|Feb 16, 2021

Reinforcement Learning in Robotics参考文献 44被引用 16

一句话总结

RMIX 提出了一种风险敏感的协作式多智能体强化学习方法，通过在个体 Q-value 分布上使用条件风险价值（CVaR），提升在随机、高不确定性环境中的协调能力。通过使用狄拉克 δ 函数学习回报分布，采用动态风险水平预测器实现自适应风险调节，并在时序差分学习与分位数回归中优化 CVaR，RMIX 在具有挑战性的 StarCraft II 任务中实现了最先进性能与更优的样本效率。

ABSTRACT

Current value-based multi-agent reinforcement learning methods optimize individual Q values to guide individuals' behaviours via centralized training with decentralized execution (CTDE). However, such expected, i.e., risk-neutral, Q value is not sufficient even with CTDE due to the randomness of rewards and the uncertainty in environments, which causes the failure of these methods to train coordinating agents in complex environments. To address these issues, we propose RMIX, a novel cooperative MARL method with the Conditional Value at Risk (CVaR) measure over the learned distributions of individuals' Q values. Specifically, we first learn the return distributions of individuals to analytically calculate CVaR for decentralized execution. Then, to handle the temporal nature of the stochastic outcomes during executions, we propose a dynamic risk level predictor for risk level tuning. Finally, we optimize the CVaR policies with CVaR values used to estimate the target in TD error during centralized training and the CVaR values are used as auxiliary local rewards to update the local distribution via Quantile Regression loss. Empirically, we show that our method significantly outperforms state-of-the-art methods on challenging StarCraft II tasks, demonstrating enhanced coordination and improved sample efficiency.

研究动机与目标

• 为解决多智能体强化学习中风险中性 Q-value 优化的局限性，即高方差或罕见事件可能破坏团队协调。
• 通过学习完整的回报分布而非期望值，提升不确定性下的决策能力，实现风险敏感策略。
• 引入一种动态风险水平预测器，根据时间与观测上下文自适应调整风险偏好，实现基于智能体的个性化风险调节。
• 通过集中训练、去中心化执行（CTDE）优化 CVaR 策略，将 CVaR 同时用作时序差分学习的目标与辅助本地奖励。
• 证明风险敏感策略在复杂、非平稳环境（如 StarCraft II）中显著提升协调能力与样本效率。

提出的方法

• 使用狄拉克 δ 函数学习个体 Q-value 回报分布，以支持去中心化执行中 CVaR 的解析计算。
• 引入一种动态风险水平预测器，基于当前与历史回报分布嵌入之间的差异计算风险水平，实现基于观测与智能体的自适应风险调节。
• 在集中训练期间，将 CVaR 值用作时序差分（TD）学习更新的目标，以优化全局价值估计。
• 在分位数回归损失中将 CVaR 值用作辅助本地奖励，以更新个体回报分布，提升策略学习效果。
• 通过在 CVaR 值上取 argmax 选择动作，实现去中心化执行，确保每个智能体具备风险敏感行为。
• 通过提出风险分解网络（RDN），将框架扩展至其他混合网络，该网络使用加法形式的 CVaR 进行全局价值估计。

实验结果

研究问题

• RQ1 学习回报分布并应用 CVaR 是否能提升在高不确定性协作式多智能体环境中的协调能力？
• RQ2 一种能根据时间与观测上下文自适应调整的风险水平预测器，是否能带来优于静态风险水平的更优风险敏感决策？
• RQ3 基于 CVaR 的策略是否能在复杂、随机环境（如 StarCraft II）中超越风险中性基线方法（如 QMIX 和 QR-MIX）？
• RQ4 所提出的框架是否可扩展至 QMIX 之外的其他基于价值的 MARL 架构？
• RQ5 使用 RMIX 的智能体是否展现出反映环境动态变化的自适应风险偏好、并呈现涌现的协调行为？

主要发现

• RMIX 在 1c3s5z 和 5m_vs_6m 等具有挑战性的 StarCraft II 地图上显著优于 QMIX 和 QR-MIX，展现出更优的协调能力与样本效率。
• 动态风险水平预测器实现了更快的收敛速度与自适应风险调节，智能体可根据实时情境意识（如血量状态与敌方距离）调整风险偏好。
• 在高风险场景中（如血量低、被包围），智能体降低其风险水平（α → 0），采取保守策略；在安全或占优状态下，α 增加至 1.0，实现风险中性的探索。
• 该方法在多个 SMAC 环境中达到最先进性能，收敛速度更快，胜率更高。
• 风险分解网络（RDN）变体（将加法 CVaR 应用于 VDN）在 10m_vs_11m 上优于 VDN，并在 1c3s5z 和 8m_vs_9m 上收敛更快，证实了该框架的泛化能力。
• 对训练后策略的可视化分析显示，出现了涌现协作行为，如一个智能体吸引敌方火力，其他智能体则重新部署位置，体现了自适应、风险感知的协调行为。