[论文解读] Streaming Maximum-Minimum Filter Using No More than Three Comparisons per Element

Daniel Lemire|arXiv (Cornell University)|Oct 9, 2006

Time Series Analysis and Forecasting参考文献 20被引用 62

一句话总结

本文提出了一种流式算法，用于计算运行最大-最小滤波器，最坏情况下每个元素最多进行三次比较，与先前方法相比显著降低了延迟和内存使用量。它利用单调性特性，在单调数据上仅需每元素两次比较，优于现有方法——尤其在分段单调信号（如正弦波）上，实际性能最高可提升两倍。

ABSTRACT

The running maximum-minimum (max-min) filter computes the maxima and minima over running windows of size w. This filter has numerous applications in signal processing and time series analysis. We present an easy-to-implement online algorithm requiring no more than 3 comparisons per element, in the worst case. Comparatively, no algorithm is known to compute the running maximum (or minimum) filter in 1.5 comparisons per element, in the worst case. Our algorithm has reduced latency and memory usage.

研究动机与目标

• 设计一种用于运行最大-最小滤波器的流式算法，以最小化每个元素的比较次数，同时避免流延迟。
• 与现有的基于批处理或高延迟的算法（如 van Herk-Gil-Werman 和 Gil-Kimmel）相比，减少内存使用量。
• 利用数据的单调性，在有利情况下实现低于三次比较的性能。
• 提供比先前竞争性算法（如 Gil-Kimmel 或 Droogenbroeck-Buckley）更简单、更高效的实现。

提出的方法

• 维护两个双端队列（deques），以跟踪当前窗口中潜在最大值和最小值的索引。
• 使用单调楔形结构：元素被添加到两个队列中，仅在超出窗口范围或被新元素主导时才被移除。
• 每个元素最多进行三次比较：一次用于更新最大值，一次用于更新最小值，第三次用于检查支配关系。
• 利用这样一个事实：如果新元素严格大于前 k 个元素，则它不可能是最小值，从而避免冗余比较。
• 采用两阶段更新：先将新索引追加到两个队列中，然后从前端移除过时的索引，从后端移除被支配的索引。
• 通过在内层循环中避免冗余的 pop 和 append 操作来优化实现，从而在现代处理器上提升性能。

实验结果

研究问题

• RQ1 运行最大-最小滤波器是否能在最坏情况下每个元素不超过三次比较，且无流延迟？
• RQ2 是否可能在单调或分段单调数据上实现比通用算法更低的比较次数？
• RQ3 能否设计出一种更简单、更高效的算法，以超越复杂的一流方法（如 Gil-Kimmel 或 van Herk-Gil-Werman）？
• RQ4 低延迟最大-最小滤波器每个元素的比较次数是否存在理论下界？
• RQ5 该算法在真实世界数据（如正弦波或 i.i.d. 噪声）上的实际表现如何？

主要发现

• 所提出的算法在最坏情况下每个元素最多需要三次比较，优于先前的最佳结果 $3 + 2\frac{\text{log } w}{w} + O(1/w)$ 次比较。
• 对于单调输入（非递增或非递减），该算法每个元素仅使用两次比较，证明了该界是紧的。
• 在分段单调数据（如正弦波）上，该算法的处理速度约为 van Herk-Gil-Werman 和 Gil-Kimmel 算法的两倍，处理 100 万个元素耗时约 0.075 秒。
• 该算法实现了零流延迟，且仅使用 $2w + O(1)$ 内存，优于 Gil-Kimmel 算法的 $6w + O(1)$ 缓冲区使用量。
• 实验结果表明，在 i.i.d. 噪声上，其性能与 van Herk-Gil-Werman 相当（约 0.15 秒处理 100 万个点），但在结构化、单调数据上表现出显著优势。
• 该算法在理论上是最优的：任何低延迟最大-最小滤波器至少需要每个元素两次比较，且该界对小窗口（$w=3$）是紧的。