[论文解读] Recommendation Fairness: From Static to Dynamic

Dell Zhang, Jun Wang|arXiv (Cornell University)|Sep 5, 2021

Advanced Bandit Algorithms Research参考文献 80被引用 4

一句话总结

本文倡导推荐公平性范式从静态评估向动态、强化学习（RL）驱动的控制转变，提出将公平性嵌入动态、长期决策框架之中。该研究提出在随机博弈中结合多智能体与多目标优化，将公平性融入基于强化学习的推荐系统，实现不间断、自适应的公平性监控与控制。

ABSTRACT

Driven by the need to capture users' evolving interests and optimize their long-term experiences, more and more recommender systems have started to model recommendation as a Markov decision process and employ reinforcement learning to address the problem. Shouldn't research on the fairness of recommender systems follow the same trend from static evaluation and one-shot intervention to dynamic monitoring and non-stop control? In this paper, we portray the recent developments in recommender systems first and then discuss how fairness could be baked into the reinforcement learning techniques for recommendation. Moreover, we argue that in order to make further progress in recommendation fairness, we may want to consider multi-agent (game-theoretic) optimization, multi-objective (Pareto) optimization, and simulation-based optimization, in the general framework of stochastic games.

研究动机与目标

• 通过转向动态、长期的公平性控制，解决推荐系统中静态公平性评估的局限性。
• 将公平性约束整合到强化学习框架中，以长期优化用户满意度与公平结果。
• 探索多智能体与多目标优化，以建模交互式推荐环境中复杂的公平性权衡。
• 通过将公平性嵌入推荐系统动态决策过程的核心，推进负责任人工智能的前沿发展。
• 将公平性定位为一个持续演进、不断优化的问题，而非一次性干预或静态度量。

提出的方法

• 将推荐建模为马尔可夫决策过程（MDP），其中用户状态随时间演变，动作为项目推荐。
• 采用强化学习（RL）算法——如上下文Bandit、DQN、策略梯度与演员-critic方法——学习最大化长期用户奖励的策略。
• 通过公平性感知奖励设计与约束强化学习等技术，将公平性约束整合到RL目标函数中。
• 将框架扩展至随机博弈，以建模多个智能体（如用户、系统或内容提供者）之间具有竞争或合作公平目标的交互。
• 应用多目标优化（帕累托优化）以平衡个性化、多样性与公平性等相互竞争的目标。
• 利用离线强化学习方法，使用历史交互数据训练公平性感知策略，避免高昂的在线探索成本。

实验结果

研究问题

• RQ1 如何将推荐系统中的公平性有效建模为动态、长期的优化问题，而非静态评估？
• RQ2 在基于强化学习的推荐系统中，整合公平性约束面临哪些关键挑战？
• RQ3 多智能体与多目标优化框架如何提升交互式、动态演化推荐环境中的公平性？
• RQ4 基于仿真的优化在增强公平性感知RL策略的鲁棒性与适应性方面发挥何种作用？
• RQ5 随机博弈在建模推荐系统中多利益相关方之间复杂公平性动态方面发挥什么作用？

主要发现

• 从静态公平性评估转向动态、基于强化学习的控制，实现了持续的公平性监控与自适应策略更新。
• 将公平性整合到强化学习中，可在长期优化用户满意度的同时，缓解与人口统计、流行度及用户活跃度相关的偏见。
• 多智能体与多目标优化框架为在复杂推荐生态系统中建模公平性权衡提供了可扩展且有原则的方法。
• 基于仿真的优化与离线强化学习使无需实时用户反馈即可训练公平性感知策略，降低部署风险。
• 随机博弈为建模具有多个交互智能体的环境中的公平性提供了自然的形式化表达，每个智能体具有不同的公平性与性能目标。
• 所提出的框架支持不间断、实时的公平性控制，契合现代推荐系统动态演变的本质。