[论文解读] Survey on Fair Reinforcement Learning: Theory and Practice

Pratik Gajane, Akrati Saxena+3 more|arXiv (Cornell University)|May 20, 2022

Ecosystem dynamics and resilience被引用 8

一句话总结

本综述全面概述了强化学习（RL）中的公平性问题，涵盖理论基础、实际应用以及关键挑战，如偏差校正、群体公平与个体公平的权衡，以及可解释性。它整合了单智能体、多智能体、长期RL和离线RL设置下的现有研究工作，为研究人员和从业者提供了一个统一的参考，以推动兼具理论保障与实证洞察的公平强化学习发展。

ABSTRACT

Fairness-aware learning aims at satisfying various fairness constraints in addition to the usual performance criteria via data-driven machine learning techniques. Most of the research in fairness-aware learning employs the setting of fair-supervised learning. However, many dynamic real-world applications can be better modeled using sequential decision-making problems and fair reinforcement learning provides a more suitable alternative for addressing these problems. In this article, we provide an extensive overview of fairness approaches that have been implemented via a reinforcement learning (RL) framework. We discuss various practical applications in which RL methods have been applied to achieve a fair solution with high accuracy. We further include various facets of the theory of fair reinforcement learning, organizing them into single-agent RL, multi-agent RL, long-term fairness via RL, and offline learning. Moreover, we highlight a few major issues to explore in order to advance the field of fair-RL, namely - i) correcting societal biases, ii) feasibility of group fairness or individual fairness, and iii) explainability in RL. Our work is beneficial for both researchers and practitioners as we discuss articles providing mathematical guarantees as well as articles with empirical studies on real-world problems.

研究动机与目标

• 系统性回顾单智能体、多智能体、长期RL和离线RL设置下的公平意识强化学习（fair-RL）。
• 分析fair-RL在招聘、推荐系统和资源分配等领域的实际应用。
• 识别并讨论fair-RL中的关键挑战，包括社会偏差校正、群体公平与个体公平的可行性，以及可解释性。
• 弥合理论保障与实证研究之间的鸿沟，为研究人员和从业者推进fair-RL提供支持。
• 突出公平性、透明度和可扩展性方面尚未解决的问题及未来研究方向。

提出的方法

• 将fair-RL方法划分为四个核心设置：单智能体RL、多智能体RL、通过RL实现的长期公平性，以及离线RL。
• 回顾公平性定义，包括群体公平（如人口均等、机会均等）和个体公平（如基于相似性的处理），分析其理论与实践中的权衡。
• 考察整合进RL目标的公平性约束，如约束优化和奖励塑形以满足公平性标准。
• 调查RL中的可解释性技术，包括事后解释模型（如LMUTs）、可解释的策略表示（如PIRL），以及反事实解释。
• 通过实证研究与理论分析评估公平性正则化的RL算法，强调性能与公平性之间的平衡。
• 将公平意识RL与传统监督学习进行比较，突出静态决策的局限性，并强调顺序决策在缓解长期偏差方面的优势。

实验结果

研究问题

• RQ1 如何在不同RL设置中有效形式化并整合公平性到强化学习框架中？
• RQ2 在RL中，群体公平与个体公平之间的权衡是什么？如何实现调和？
• RQ3 RL中的顺序决策动态如何影响长期公平性以及偏差行为的出现？
• RQ4 在公平性关键应用中，解释RL智能体行为的最有效方法是什么？
• RQ5 在fair-RL系统中纠正社会偏差并确保可扩展性的关键挑战是什么？

主要发现

• 在招聘场景中，强化学习通过动态探索与利用的权衡，优于监督学习，能提升候选人质量并缩短招聘时间，同时保持公平性。
• 群体公平度量（如人口均等、机会均等）易受公平性操纵（fairness gerrymandering）影响，且在多个受保护属性下难以扩展。
• 尽管个体公平在理论上具有吸引力，但其面临相似性度量偏差以及缺乏基于任务相关特征的非循环公平性定义的挑战。
• RL的可解释性仍发展不足，尽管事后解释和内在可解释性技术有所进展，但许多方法未能与用户需求或目标受众期望对齐。
• 群体公平与个体公平之间的冲突并非本质存在，而是源于对公平性度量的粗略应用，表明混合方法可能缓解这种张力。
• 在训练期间整合公平性约束的fair-RL方法，相比事后校正，在动态环境中的反馈回路下，能实现更优的长期公平性结果。