[论文解读] Optimizing Online Matching for Ride-Sourcing Services with Multi-Agent Deep Reinforcement Learning

Jintao Ke, Feng Xiao+2 more|arXiv (Cornell University)|Feb 17, 2019

Transportation and Mobility Innovations参考文献 20被引用 30

一句话总结

本文提出了一种两阶段框架，结合多智能体深度强化学习（DRL）与组合优化，以优化网约车服务中的在线匹配。通过使用时空多智能体DRL（ST-M-DQN和ST-M-A2C）动态确定延迟匹配时间，系统在保持高匹配率的同时显著降低了平均接驾时间，相较于基线方法显著提升了系统效率。

ABSTRACT

Ride-sourcing services are now reshaping the way people travel by effectively connecting drivers and passengers through mobile internets. Online matching between idle drivers and waiting passengers is one of the most key components in a ride-sourcing system. The average pickup distance or time is an important measurement of system efficiency since it affects both passengers' waiting time and drivers' utilization rate. It is naturally expected that a more effective bipartite matching (with smaller average pickup time) can be implemented if the platform accumulates more idle drivers and waiting passengers in the matching pool. A specific passenger request can also benefit from a delayed matching since he/she may be matched with closer idle drivers after waiting for a few seconds. Motivated by the potential benefits of delayed matching, this paper establishes a two-stage framework which incorporates a combinatorial optimization and multi-agent deep reinforcement learning methods. The multi-agent reinforcement learning methods are used to dynamically determine the delayed time for each passenger request (or the time at which each request enters the matching pool), while the combinatorial optimization conducts an optimal bipartite matching between idle drivers and waiting passengers in the matching pool. Two reinforcement learning methods, spatio-temporal multi-agent deep Q learning (ST-M-DQN) and spatio-temporal multi-agent actor-critic (ST-M-A2C) are developed. Through extensive empirical experiments with a well-designed simulator, we show that the proposed framework is able to remarkably improve system performances.

研究动机与目标

• 解决动态网约车系统中乘客等待时间、接驾时间与匹配成功率之间的权衡问题。
• 探索延迟匹配的潜在优势，即通过将请求保留在池中以积累更多司机和乘客，从而提升匹配质量。
• 开发一种动态、实时的决策机制，利用强化学习确定每个乘客请求的最优匹配延迟时间。
• 将多智能体深度强化学习与传统组合优化相结合，实现在高维、非平稳环境下的可扩展且自适应的调度。
• 评估所提框架在降低平均接驾时间的同时保持高请求完成率方面的有效性。

提出的方法

• 该框架分为两个阶段：上层为多智能体深度强化学习（DRL）模块，下层为凸组合优化模块。
• DRL模块使用两种模型——ST-M-DQN和ST-M-A2C——基于时空状态特征学习每个乘客请求的最优延迟匹配时间。
• 每个智能体（乘客请求）在每个时间间隔决定是否进入匹配池，将该决策建模为序列动作选择问题。
• 组合优化阶段采用最小费用二分图匹配（如Kuhn-Munkres类方法），将空闲司机分配给池中的等待乘客，以最小化总接驾时间。
• DRL智能体实时观测供需动态，包括司机与乘客的位置，并学习在即时匹配与延迟带来的未来收益之间取得平衡的策略。
• 该框架使用设计良好的模拟器，基于真实世界的网约车数据进行训练与评估，能够捕捉随机且动态的供需模式。

实验结果

研究问题

• RQ1 延迟匹配是否能在不牺牲匹配成功率的前提下显著降低网约车系统中的平均接驾时间？
• RQ2 如何有效应用多智能体深度强化学习，以动态确定每个独立乘客请求的最优匹配延迟？
• RQ3 与纯优化方法或基线强化学习方法相比，DRL与组合优化结合能带来多大的性能提升？
• RQ4 时空特征与多智能体协作如何提升大规模、非平稳调度环境中的决策质量？
• RQ5 所提框架在实时网约车运营中，能在多大程度上平衡等待时间、接驾时间与匹配率之间的权衡？

主要发现

• 所提出的ST-M-DQN与ST-M-A2C模型相较于基线优化方法及其他基准，显著降低了平均接驾时间。
• 该框架显著提升了系统效率，平均接驾时间大幅减少，同时请求完成率损失极小。
• 由DRL控制的延迟匹配可提升匹配质量，因更多司机与乘客在池中累积，从而实现更短的接驾距离。
• 多智能体DRL方法能有效捕捉动态供需波动，并实时调整匹配决策，优于单智能体或非学习基线方法。
• 实证结果表明，该两阶段框架在等待时间与接驾时间之间实现了良好平衡，展现出在复杂环境中的鲁棒性与可扩展性。
• 时空DRL与组合优化的集成在提升调度性能方面证明有效，验证了该框架在真实网约车平台中的实际应用潜力。