[论文解读] MultiQueues: Simpler, Faster, and Better Relaxed Concurrent Priority Queues

Hamza Rihani, Peter Sanders+1 more|arXiv (Cornell University)|Nov 5, 2014

Distributed systems and fault tolerance参考文献 20被引用 12

一句话总结

MultiQueues 通过使用多个顺序优先队列来减少争用并提高性能，提出了一种简单且可扩展的松弛并发优先队列。通过将插入操作随机分布在 $cp$ 个队列上（其中 $c>1$），并在删除操作中从两个随机选择的队列中选取最小值，该方法在吞吐量和元素质量方面均优于先前的方法，在实验中性能比 SprayLists 提高了两倍以上。

ABSTRACT

Priority queues with parallel access are an attractive data structure for applications like prioritized online scheduling, discrete event simulation, or branch-and-bound. However, a classical priority queue constitutes a severe bottleneck in this context, leading to very small throughput. Hence, there has been significant interest in concurrent priority queues with a somewhat relaxed semantics where deleted elements only need to be close to the minimum. In this paper we present a very simple approach based on multiple sequential priority queues. It turns out to outperform previous more complicated data structures while at the same time improving the quality of the returned elements.

研究动机与目标

• 解决高并发争用环境下集中式优先队列在并发工作负载中出现的性能瓶颈。
• 设计一种松弛优先队列，以在保持高吞吐量的同时提高被删除元素的质量（即更接近全局最小值）。
• 探索一种比复杂数据结构（如跳表或集中式设计）更简单的替代方案，使用多个顺序优先队列作为构建模块。
• 评估松弛并发优先队列中性能、可扩展性与结果质量之间的权衡。
• 使系统能够实际部署于需要高吞吐量优先级调度的应用中，例如数据库系统和离散事件仿真。

提出的方法

• 使用包含 $cp$ 个顺序优先队列的数组，其中 $c>1$ 且 $p$ 为并行线程数，以分担负载并减少争用。
• 将插入操作分配到随机选择的队列中，以确保队列间全局元素的代表性分布。
• 对于 deleteMin 操作，从两个独立且随机选择的队列的最小值中选取最小元素，以稳定队列分布的波动。
• 对单个队列操作使用无等待锁机制，以避免阻塞并提高并发性。
• 使用一个已排序的辅助序列 $S$ 来跟踪和测量被删除元素的排名误差，从而实现对质量的精确评估。
• 调整参数 $c$ 以在性能、质量和资源使用之间取得平衡，实验表明 $c=2$ 或 $c=4$ 时表现最优。

实验结果

研究问题

• RQ1 一种简单、多队列的方法是否能在吞吐量和结果质量方面优于复杂的集中式松弛优先队列？
• RQ2 插入操作的随机分配以及从两个队列中选择元素，如何影响被删除元素的排名误差分布？
• RQ3 参数 $c$（队列数量相对于线程数的比例）对松弛并发优先队列的性能和质量有何影响？
• RQ4 松弛优先队列是否能在保持高吞吐量的同时，确保被删除元素始终接近全局最小值？
• RQ5 与现有解决方案相比，所提出的 MultiQueue 设计在单插槽和多插槽系统上的可扩展性如何？

主要发现

• 在单插槽和双插槽系统上，MultiQueues 的吞吐量均比 SprayLists 提高了两倍或以上。
• MultiQueues 的排名误差分布显著优于 SprayLists，最大观测排名误差为 1,522，而 SprayLists 为 1,740。
• 当 $p=56$ 时，$c=2$（即 112 个队列）的 MultiQueues 展现出与理论预测高度一致的排名误差分布，且尾部更短，优于 SprayLists。
• 当 $p=256$ 时，MultiQueues 的性能优势进一步扩大，甚至 $c=4$ 的配置也展现出比 SprayLists 更优的尾部分布行为。
• 被删除元素的质量始终更高，其平均值和最大值排名误差均更低，表明更接近全局最小值。
• 该方法在单插槽系统上表现出极佳的可扩展性，在双插槽系统上也实现了合理的扩展性，验证了其在真实并发工作负载中的实用性。