[论文解读] RiskQ: Risk-sensitive Multi-Agent Reinforcement Learning Value Factorization

Siqi Shen, Chennan Ma+6 more|arXiv (Cornell University)|Nov 3, 2023

Reinforcement Learning in Robotics被引用 4

一句话总结

RiskQ 提出了一种风险敏感的多智能体强化学习算法，满足针对风险度量（如风险价值 VaR 和扭曲风险度量）的敏感个体-全局-最大（RIGM）原则。它通过注意力机制对每个智能体回报效用的加权分位数混合建模联合回报分布，实现协调的、去中心化的风险敏感策略，在风险敏感和风险中性环境中的表现均优于标准方法。

ABSTRACT

Multi-agent systems are characterized by environmental uncertainty, varying policies of agents, and partial observability, which result in significant risks. In the context of Multi-Agent Reinforcement Learning (MARL), learning coordinated and decentralized policies that are sensitive to risk is challenging. To formulate the coordination requirements in risk-sensitive MARL, we introduce the Risk-sensitive Individual-Global-Max (RIGM) principle as a generalization of the Individual-Global-Max (IGM) and Distributional IGM (DIGM) principles. This principle requires that the collection of risk-sensitive action selections of each agent should be equivalent to the risk-sensitive action selection of the central policy. Current MARL value factorization methods do not satisfy the RIGM principle for common risk metrics such as the Value at Risk (VaR) metric or distorted risk measurements. Therefore, we propose RiskQ to address this limitation, which models the joint return distribution by modeling quantiles of it as weighted quantile mixtures of per-agent return distribution utilities. RiskQ satisfies the RIGM principle for the VaR and distorted risk metrics. We show that RiskQ can obtain promising performance through extensive experiments. The source code of RiskQ is available in https://github.com/xmu-rl-3dv/RiskQ.

研究动机与目标

• 为解决多智能体强化学习中缺乏保持风险下协调性的风险敏感价值分解问题。
• 通过风险敏感的个体-全局-最大（RIGM）原则，形式化风险敏感多智能体强化学习中的协调需求。
• 设计一种满足 RIGM 原则的值分解方法，适用于一般风险度量（如 VaR 和扭曲风险度量）。
• 实现去中心化、风险感知的策略，使其与集中式风险敏感决策保持一致。
• 通过实证验证 RiskQ 在风险敏感游戏和 StarCraft II 任务中的性能。

提出的方法

• 提出 RIGM 原则作为 IGM 和 DIGM 的推广，要求联合风险敏感动作与个体风险敏感贪婪动作一致。
• 通过注意力机制将联合回报分布建模为每个智能体基于分位数的回报分布效用的加权和。
• 通过风险度量 $\psi_{\alpha}[Z_i]$ 表示每个智能体的风险敏感效用，如 VaR 或扭曲风险，其中 $\alpha$ 为风险参数。
• 以隐式分位数网络（IQN）为基础，学习回报分布效用，并支持可微分分位数回归以优化策略。
• 采用分位数混合机制，其中联合分布 $Z_{jt}$ 的分位数通过个体智能体分位数 $\theta_i(\omega)$ 的加权组合计算得出。
• 应用风险感知注意力机制，根据风险敏感性和对联合回报分布的贡献，动态分配对每个智能体分位数的权重。

实验结果

研究问题

• RQ1 能否设计一种值分解方法，使其满足一般风险度量（如 VaR 和扭曲风险度量）下的 RIGM 原则？
• RQ2 如何建模联合回报分布，以在智能体之间保持风险敏感的协调？
• RQ3 所提出的 RiskQ 方法在风险敏感环境中是否优于现有 MARL 算法？
• RQ4 RiskQ 是否能在风险中性和风险敏感场景下均保持强大性能？
• RQ5 风险感知注意力与分位数混合建模的集成如何影响策略协调性与鲁棒性？

主要发现

• RiskQ 满足 VaR 和扭曲风险度量下的 RIGM 原则，确保去中心化智能体行为与集中式风险敏感决策的一致性。
• 在 StarCraft II 微操任务（SMAC）中，RiskQ 在风险规避设置下表现优于或与最先进 MARL 基线相当，尤其在复杂场景中优势明显。
• 在风险敏感的网格世界游戏中，RiskQ 在高随机性和罕见事件条件下表现出更强的鲁棒性与稳定性。
• 消融实验确认，基于注意力的分位数混合机制对维持协调性与风险敏感性至关重要。
• 将 RiskQ 与探索策略（如风险参数退火，RiskQ+LQN）结合仅带来边际收益，表明协调探索可能需要进一步设计。
• 用更稳定的、风险感知的贝尔曼算子（Lim 和 Malik, 2022）替代 IQN 导致性能下降，表明现有分布强化学习近似方法已足够支持风险敏感性。