[论文解读] Quicksort with median of medians is considered practical

Noriyuki Kurosawa|arXiv (Cornell University)|Aug 17, 2016

Advanced Data Processing Techniques参考文献 4被引用 4

一句话总结

本论文提出了一种快速排序的实用变体，采用中位数的中位数枢纽选择法并结合输入数据精简技术，表明在最优精简参数（如 s=40）下，该算法实现了 O(n log n) 的最坏情况性能，同时在随机数据上与标准优化快速排序性能相当或更优。该方法通过选择性采样降低中位数的中位数的常数因子，使其在理论上稳健且在实践中高效。

ABSTRACT

The linear pivot selection algorithm, known as median-of-medians, makes the worst case complexity of quicksort be $\mathrm{O}(n\ln n)$. Nevertheless, it has often been said that this algorithm is too expensive to use in quicksort. In this article, we show that we can make the quicksort with this kind of pivot selection approach be efficient.

研究动机与目标

• 挑战长期以来认为中位数的中位数枢纽选择在快速排序中过于缓慢而无法实用的观点。
• 通过在枢纽选择前对输入进行精简，降低中位数的中位数的常数因子，从而减少计算开销。
• 证明所得到的算法在保持 O(n log n) 最坏情况复杂度的同时，能在平均情况输入下实现具有竞争力的性能。
• 将精简技术推广至其他枢纽选择策略（如 3^L 的伪中位数），并评估其性能。
• 提供实证证据，表明改进后的算法在随机序列上优于标准方法（如三数取中法和伪中位数九数法）。

提出的方法

• 提出一种精简策略，仅使用输入数组中每第 s 个元素进行中位数的中位数枢纽选择，将输入规模缩减至 n/s。
• 在精简后的子集上应用 BFPRT 算法，选择能保证至少 30% 的元素位于枢纽两侧的枢纽，从而确保 O(n log n) 的最坏情况复杂度。
• 推导出一个递推关系式，用于估计时间复杂度 an log n + bn 中的渐近常数因子 a，表明 a 随 s 增大而减小。
• 提出一种替代方法，使用精简后的 3^L 伪中位数，其中数组被递归划分为三部分，并选择子部分中位数的中位数作为枢纽。
• 通过实验比较次数的最小二乘拟合，估计不同枢纽策略下模型 an log n + bn 中的系数 a 和 b。
• 采用单枢纽分区方案和原始 BFPRT 算法，不针对小子数组切换到插入排序，以隔离枢纽选择的影响。

实验结果

研究问题

• RQ1 通过精简输入规模，能否使快速排序中的中位数的中位数枢纽选择变得实用？
• RQ2 最优精简参数 s 是什么？它能在保持良好平均情况性能的同时，最小化最坏情况时间复杂度的常数因子？
• RQ3 在随机序列上，精简后的中位数的中位数方法与成熟方法（如三数取中法和伪中位数九数法）相比性能如何？
• RQ4 精简技术能否推广至其他枢纽选择策略（如 3^L 伪中位数）以改善其最坏情况行为？
• RQ5 精简后的中位数的中位数算法的实证性能是否与关于比较次数和渐近复杂度的理论预测一致？

主要发现

• 当 s=40 时，精简后的 BFPRT 方法（t-BFPRT）在比较次数模型 an log n + bn 中的系数 a ≈ 1.5371，优于三数取中法（a ≈ 1.710），并接近伪中位数九数法（a ≈ 1.568）。
• 当 s=40 时，t-BFPRT 方法与高度优化的伪中位数九数法（PMed9）性能相当，比较次数几乎完全一致。
• 对于 t-PMed3^L 方法，s=40 时系数 a ≈ 1.528，略优于 s=40 的 t-BFPRT，且显著优于三数取中法。
• t-BFPRT 的系数 a 随 s 增大而单调递减，当 s 增大时趋近于理论下界 1/log 2 ≈ 1.443。
• 当 s=40 时，t-BFPRT 和 t-PMed3^L 在随机序列上表现稳健，方差低，且与 an log n + bn 模型有极强的实证拟合度。
• 该方法在最坏情况下依然高效，保证 O(n log n) 的比较次数，同时在平均输入下保持了良好的性能。