[论文解读] Value Function is All You Need: A Unified Learning Framework for Ride Hailing Platforms

Xiaocheng Tang, Fan Zhang+7 more|arXiv (Cornell University)|May 18, 2021

Transportation and Mobility Innovations参考文献 18被引用 4

一句话总结

本文提出 V1D3，一种用于网约车平台的统一价值基准强化学习框架，通过在线经验与离线轨迹数据联合更新全局共享的价值函数。通过周期性集成方法结合快速在线学习与大规模离线预训练，V1D3 在订单派单与车辆调度任务中均取得当前最优性能，在司机收入与用户体验指标上超越 KDD Cup 2020 冠军方案。

ABSTRACT

Large ride-hailing platforms, such as DiDi, Uber and Lyft, connect tens of thousands of vehicles in a city to millions of ride demands throughout the day, providing great promises for improving transportation efficiency through the tasks of order dispatching and vehicle repositioning. Existing studies, however, usually consider the two tasks in simplified settings that hardly address the complex interactions between the two, the real-time fluctuations between supply and demand, and the necessary coordinations due to the large-scale nature of the problem. In this paper we propose a unified value-based dynamic learning framework (V1D3) for tackling both tasks. At the center of the framework is a globally shared value function that is updated continuously using online experiences generated from real-time platform transactions. To improve the sample-efficiency and the robustness, we further propose a novel periodic ensemble method combining the fast online learning with a large-scale offline training scheme that leverages the abundant historical driver trajectory data. This allows the proposed framework to adapt quickly to the highly dynamic environment, to generalize robustly to recurrent patterns and to drive implicit coordinations among the population of managed vehicles. Extensive experiments based on real-world datasets show considerably improvements over other recently proposed methods on both tasks. Particularly, V1D3 outperforms the first prize winners of both dispatching and repositioning tracks in the KDD Cup 2020 RL competition, achieving state-of-the-art results on improving both total driver income and user experience related metrics.

研究动机与目标

• 解决大规模网约车平台中供需之间复杂且实时的交互问题。
• 将订单派单与车辆调度统一到单一学习框架中，以捕捉二者之间的依赖关系。
• 通过结合在线交易数据与历史司机轨迹，提升在动态环境中的样本效率与鲁棒性。
• 通过价值函数学习实现实时供需波动下的快速适应，同时保持长期性能。
• 在真实世界数据上，同时实现司机收入与用户体验指标的最先进表现。

提出的方法

• 利用实时平台交易中的在线经验，持续更新全局共享的价值函数。
• 提出一种新颖的周期性集成方法，将快速在线学习与基于历史司机轨迹的大规模离线训练相结合。
• 在线学习采用基于策略价值迭代的群体式时序差分目标，实现快速适应。
• 价值函数采用粗粒度编码的状态表示，以确保对供需变化的地理上平滑的价值响应。
• 框架通过同一共享价值函数集成基于价值的规划，用于派单与调度决策。
• 离线模型提供鲁棒的初始化，而在线更新则实现对实时波动的动态响应。

实验结果

研究问题

• RQ1 统一的价值基准框架能否有效协调大规模网约车系统中的订单派单与车辆调度？
• RQ2 如何结合在线与离线学习，以提升动态交通环境中样本效率与鲁棒性？
• RQ3 共享价值函数在供需（司机与订单）发生突变时，其适应能力达到何种程度？
• RQ4 所提出的集成学习方法是否在真实网约车场景中优于独立的在线或离线训练？
• RQ5 该框架能否同时在司机收入与用户体验指标上实现卓越性能？

主要发现

• V1D3 在 KDD Cup 2020 强化学习竞赛的派单与调度两个赛道中，均优于一等奖解决方案。
• 该框架在真实世界数据集上，实现了提升总司机收入与用户体验相关指标的最先进结果。
• 价值函数能迅速响应新司机到达，表现为出发地价值迅速下降，从而抑制过度招募。
• 在需求突然激增时，价值函数随之上升，激励更多司机被派往高需求区域。
• 动态价值响应在地理上保持平滑，并随供需失衡的缓解自然衰减。
• 周期性集成方法在实现快速在线适应的同时，通过大规模离线预训练保持了鲁棒性。