[论文解读] Optimally Sorting Evolving Data

Juan José Besa, William E. Devanny+3 more|arXiv (Cornell University)|Jan 1, 2018

Algorithms and Data Compression参考文献 4被引用 1

一句话总结

本文提出了一种针对动态演化数据的最优排序算法，其中底层顺序在执行过程中动态变化。研究表明，重复插入排序在高概率下能将肯德尔 tau 距离保持在 O(n) 以内，从而在每次比较后发生一次随机相邻交换的模型中实现了渐近最优性。

ABSTRACT

We give optimal sorting algorithms in the evolving data framework, where an algorithm's input data is changing while the algorithm is executing. In this framework, instead of producing a final output, an algorithm attempts to maintain an output close to the correct output for the current state of the data, repeatedly updating its best estimate of a correct output over time. We show that a simple repeated insertion-sort algorithm can maintain an O(n) Kendall tau distance, with high probability, between a maintained list and an underlying total order of n items in an evolving data model where each comparison is followed by a swap between a random consecutive pair of items in the underlying total order. This result is asymptotically optimal, since there is an Omega(n) lower bound for Kendall tau distance for this problem. Our result closes the gap between this lower bound and the previous best algorithm for this problem, which maintains a Kendall tau distance of O(n log log n) with high probability. It also confirms previous experimental results that suggested that insertion sort tends to perform better than quicksort in practice.

研究动机与目标

• 解决在底层数据顺序因随机相邻交换而持续变化时，维持已排序列表的挑战。
• 弥合已知的 Ω(n) 下界与先前上界（O(n log log n)）之间在演化数据排序中肯德尔 tau 距离的差距。
• 证明尽管插入排序每步仅修复 O(1) 个逆序对，其简单性仍使其在该动态模型中实现渐近最优性能。
• 为实验观察中插入排序在演化数据场景下优于快速排序的现象提供理论依据。

提出的方法

• 将演化数据建模为一种过程：每次比较后，在真实总序中发生一次随机相邻交换。
• 通过跟踪每个元素的 Inc 和 Dec 计数器来分析插入排序的性能，以衡量逆序对数量。
• 将计数器建模为球与桶过程，其中球随机投掷且桶之间发生交换，该过程随机支配实际计数器动态。
• 使用泊松近似和霍夫丁不等式来界定平方桶负载之和，该值与逆序对数量相关。
• 利用集中不等式和并集界证明，逆序对总数 Bt 以高概率保持在 O(n) 以内。
• 证明插入排序的轮次至少需要 Ω(n) 步才能修复剩余逆序对，从而确保稳态性能。

实验结果

研究问题

• RQ1 像插入排序这样简单的排序算法是否能在演化数据模型中实现渐近最优的肯德尔 tau 距离？
• RQ2 在此演化数据框架中，任何算法的期望肯德尔 tau 距离的最紧可能上界是什么？
• RQ3 为什么在实践中插入排序在演化数据中优于更复杂的算法（如快速排序），并且这种现象能否从理论上得到解释？
• RQ4 能否使用计数器动态的概率模型和球与桶过程来界定插入排序的性能？

主要发现

• 重复插入排序以高概率保持肯德尔 tau 距离为 O(n)，这在给定 Ω(n) 下界的情况下是渐近最优的。
• 分析表明，Inc 和 Dec 计数器的平方和被投掷 cn 个球进入 n−1 个桶的过程随机支配，从而导致总逆序对数为 O(n)。
• 以高概率，逆序对数 Bt 始终被限制在 12c²n 以内，其中 c > e 为任意常数，确保性能稳定。
• 当从 O(n) 个逆序对开始时，插入排序至少需要 cn 步才能修复逆序对，确认其无法提前终止，必须维持 O(n) 的距离。
• 该结果证实了实验观察：由于其增量且稳定的更新行为，插入排序在演化数据环境中表现优于快速排序。
• 在插入排序前进行一轮快速排序，可在 O(n log n) 步内将系统带入稳态，这也同样是渐近最优的。