[论文解读] Tolling for Constraint Satisfaction in Markov Decision Process Congestion Games

Sarah H. Q. Li, Yue Yu+3 more|arXiv (Cornell University)|Mar 2, 2019

Transportation and Mobility Innovations参考文献 35被引用 11

一句话总结

该论文提出了一种在马尔可夫决策过程拥挤博弈（MDPCGs）中的收费机制，以引导群体均衡满足特定约束或提升社会福利。通过利用群体质量约束的对偶变量修改奖励，该方法可将沃罗普均衡（Wardrop equilibria）调整至满足城市区域最低司机密度要求或最大化社会产出。在西雅图拼车模拟中，仅使用200个约束条件，社会福利差距减少了5%。

ABSTRACT

Markov decision process (MDP) congestion game is an extension of classic congestion games, where a continuous population of selfish agents solves Markov decision processes with congestion: the payoff of a strategy decreases as more population uses it. We draw parallels between key concepts from capacitated congestion games and MDP. In particular, we show that population mass constraints in MDP congestion games are equivalent to imposing tolls/incentives on the reward function, which can be utilized by social planners to achieve auxiliary objectives. We demonstrate such methods in a simulated Seattle ride-share model, where tolls and incentives are enforced for two separate objectives: to guarantee minimum driver density in downtown Seattle, and to shift the game equilibrium towards a maximum social output.

研究动机与目标

• 解决在城市交通网络中，个体代理为最大化自身收益而产生非效率行为的问题。
• 使社会规划者能够在不直接控制代理行为的情况下，强制实施群体质量约束（例如高需求区域的最低司机密度）。
• 通过基于约束的收费机制，将均衡向社会最优结果移动，从而改善拥挤博弈中的社会福利。
• 开发一种计算上可行的激励设计框架，利用Frank-Wolfe算法与对偶性，实现实时或自适应部署。
• 在具有动态需求和随机转移的现实拼车场景中，验证该方法的有效性。

提出的方法

• 将MDPCGs形式化为潜在博弈，其中奖励依赖于群体质量，使用严格递减的奖励函数 ℓtsa(ytsa)。
• 利用约束优化中的对偶变量 τ⋆ts 生成人工收费，以修改奖励函数为 r̄tsa(y) = ℓtsa(ytsa) + τ⋆ts。
• 应用Frank-Wolfe算法数值求解修改后奖励下的均衡，并将该过程在线解释为迭代策略更新。
• 定义形如 ∑a ytsa ≥ c 的约束（例如，贝尔特恩地区至少10名司机），并通过KKT条件推导相应的收费。
• 使用算法4生成状态-动作分布的上下界，以构建一组近似社会最优性的约束。
• 通过在包含3500名司机的西雅图拼车模型上进行仿真验证该方法，使用CVXPY进行优化，算法3用于代理行为仿真。

实验结果

研究问题

• RQ1 在MDPCGs中，基于约束的收费机制是否能有效强制实现特定状态（如市中心街区）的最低群体质量？
• RQ2 社会规划者如何通过奖励修改，将沃罗普均衡引导至社会最优结果，而无需直接控制代理策略？
• RQ3 施加的约束数量与社会福利提升之间的权衡关系如何？
• RQ4 收费的大小和符号如何随约束密度和系统动态变化？
• RQ5 Frank-Wolfe方法在约束引起的奖励修改下能否高效收敛至均衡？

主要发现

• 在贝尔特恩地区（状态7）施加最低司机密度10人的约束后，该区域的群体质量显著提升，且影响传播至邻近区域如国会山（状态2）。
• 随着近似容差 ϵ 的减小，Frank-Wolfe算法收敛至沃罗普均衡，且 ‖yϵ − y⋆‖₂ / ‖y⋆‖₂ 在600次迭代内降至10⁻³。
• 仅使用200个约束，用户选择的均衡与社会最优解之间的差距已减少至最大可能社会福利的5%以内。
• 收费值在每单位时间−0.05至0.05之间波动，且净收入（hnet）随约束数量增加而上升，表明盈余被有效再分配。
• 该方法以极少的约束数量实现了接近最优的社会福利，表明与拥堵无关的收费机制可优于传统的拥堵依赖型征税。