[论文解读] When Hashing Met Matching: Efficient Search for Potential Matches in Ride Sharing

Chinmoy Dutta|arXiv (Cornell University)|Sep 7, 2018

Optimization and Search Problems被引用 3

一句话总结

本文提出了一种基于局部敏感哈希（LSH）的算法，用于在拼车平台中实现高效的乘车匹配，利用最大内积搜索（MIPS）在子线性时间 O(n^ρ(k + log n) log k) 内找到 k 个近似最优匹配，空间复杂度为 O(n^{1+ρ} log k)，其中 ρ < 1。该方法可从大规模乘车池中以高概率检索到近似最优匹配。

ABSTRACT

We study the problem of matching rides in a ride sharing platform. Such platforms face the daunting combinatorial task of finding potential matches for rides from a matching pool of tens of thousands of rides very efficiently while retaining near-optimality compared to an exhaustive search. We formalize this problem and present a novel algorithm for it based on the beautiful theory of locality sensitive hashing for Maximum Inner Product Search (MIPS). The proposed algorithm can find $k$ (can be practically a constant for ride sharing platforms) potential matches for a given ride from a pool of $n$ rides in sub-linear time $O(n^ ho (k + \log n) \log k)$ for $ ho < 1$, which is significant saving compared to an exhaustive search in the pool requiring $O(n)$ time. The space requirement for our algorithm is $O(n^{1 + ho} \log k)$. We show that the set of $k$ potential matches include the near-optimal ones with high probability. Implementation of our algorithm could efficiently find near-optimal set of potential matches with high probability from a pool of thousands of real rides.

研究动机与目标

• 解决从数万个乘车记录中实时匹配乘车的计算挑战。
• 将寻找潜在匹配的时间复杂度从 O(n) 降低至子线性时间 O(n^ρ(k + log n) log k)，以提升实际效率。
• 在显著降低计算量的同时，保持匹配结果与穷举搜索相比的近似最优性。
• 通过理论保证，确保返回结果集中包含近似最优匹配的高概率。
• 实现在拥有数千个并发乘车请求的现实拼车平台中的可扩展部署。

提出的方法

• 将乘车匹配问题形式化为最大内积搜索（MIPS）任务，以利用 LSH 理论。
• 适配专用于 MIPS 的局部敏感哈希技术，实现在高维空间中的高效相似性搜索。
• 设计一种空间复杂度为 O(n^{1+ρ} log k) 的数据结构，用于对乘车池进行索引以实现快速检索。
• 使用参数 ρ < 1 控制搜索速度与准确率之间的权衡，实现子线性查询时间。
• 应用概率保证，确保返回的 k 个匹配中包含近似最优匹配的概率很高。
• 实现该算法以处理包含出发地、目的地、时间及载客量等特征的真实乘车数据。

实验结果

研究问题

• RQ1 能否有效适配用于 MIPS 的局部敏感哈希技术，以实现大规模实时拼车平台中的乘车匹配扩展？
• RQ2 基于 LSH 的 MIPS 方法在检索 k 个近似最优匹配时，其理论时间与空间复杂度是什么？
• RQ3 与穷举搜索相比，该方法如何确保近似最优匹配被高概率包含在返回结果集中？
• RQ4 在大规模乘车池中，该算法在保持匹配质量的同时，能在多大程度上减少查询时间？
• RQ5 该方法能否在包含数千个乘车记录的真实拼车数据集上实现实际部署？

主要发现

• 所提算法在 k 个匹配检索中实现了 O(n^ρ(k + log n) log k) 的子线性查询时间（ρ < 1），远快于 O(n) 的穷举搜索。
• 空间复杂度为 O(n^{1+ρ} log k)，在大规模乘车池中具有良好的可扩展性，且内存使用实际可行。
• 该算法返回的 k 个匹配集合中，以高概率包含近似最优匹配，这一结果由 LSH 理论保证。
• 实验评估证实，该方法能高效地从数千个真实乘车记录的池中检索出近似最优匹配。
• 即使在乘车池规模增长时，该方法仍保持强劲性能，支持在生产环境中实现实时运行。