[论文解读] Optimal Encodings for Range Top-k, Selection, and Min-Max

Paweł Gawrychowski, Patrick K. Nicholson|arXiv (Cornell University)|Nov 24, 2014

Algorithms and Data Compression参考文献 16被引用 8

一句话总结

本论文首次提出了针对数组上范围 top-k 查询、范围选择查询以及范围最小-最大查询的空间最优编码，其空间使用量在信息论最优值的低阶项范围内。通过利用笛卡尔树的压缩表示和窗口递增结构，将空间复杂度的主导项减少至 $(k+1.5)nH(1.5/(k+1.5)) + o(n\lg k)$，解决了 $k > 1$ 时系数优化的长期开放问题。该编码支持高效的查询重构，并可通过额外 $o(n)$ 位实现 $\mathcal{O}(1)$-时间查询。

ABSTRACT

We consider encoding problems for range queries on arrays. In these problems the goal is to store a structure capable of recovering the answer to all queries that occupies the information theoretic minimum space possible, to within lower order terms. As input, we are given an array $A[1..n]$, and a fixed parameter $k \in [1,n]$. A range top-$k$ query on an arbitrary range $[i,j] \subseteq [1,n]$ asks us to return the ordered set of indices $\{\ell_1, ..., \ell_{k}\}$ such that $A[\ell_m]$ is the $m$-th largest element in $A[i..j]$, for $1 \le m \le k$. A range selection query for an arbitrary range $[i,j] \subseteq [1,n]$ and query parameter $k' \in [1,k]$ asks us to return the index of the $k'$-th largest element in $A[i..j]$. We completely resolve the space complexity of both of these heavily studied problems---to within lower order terms---for all $k = o(n)$. Previously, the constant factor in the space complexity was known only for $k=1$. We also resolve the space complexity of another problem, that we call range min-max, in which the goal is to return the indices of both the minimum and maximum elements in a range.

研究动机与目标

• 在所有 $k = o(n)$ 的情况下，将范围 top-k 查询和范围选择查询的空间复杂度优化至低阶项范围内，扩展此前仅对 $k=1$ 已知的最优情况。
• 引入并解决范围最小-最大查询这一新问题，该问题返回范围内最小值和最大值元素的索引。
• 填补范围 top-k 编码空间界中常数因子的空白，此前对于 $k \geq 2$ 该因子尚不明确。
• 提供一种压缩且可查询重构的编码方式，仅存储所有查询的答案，从而在最小化空间的同时支持高效重构。

提出的方法

• 该方法利用笛卡尔树的压缩表示来编码所有范围 top-k 查询的解，通过基于熵的压缩技术最小化空间使用量。
• 提出一种新颖的窗口递增结构，以高效模拟块内范围查询，使用位向量 $E_{\text{WIN}}$ 跟踪块间相对顺序的变化。
• 该方法区分偶数块中的“好”元素与“坏”元素——仅“坏”元素对窗口递增有贡献——从而减少 $E_{\text{WIN}}$ 中的 1 位数量，实现编码压缩。
• 通过反转数组并利用对称性，将窗口编码中的非零位数从 $n$ 减少至 $n/2 - o(n)$，从而改进熵项中的主导系数。
• 通过选择性扫描和窗口递增重构，支持对左、中、右段的 top-k 列表进行合并，从而在块边界处正确实现 top-k 选择。
• 引入校正机制以每块跟踪“好”/“坏”状态，确保在仅增加 $o(n)$ 额外空间的前提下，对压缩位向量实现准确的 select 操作。

实验结果

研究问题

• RQ1 对于所有 $k = o(n)$，在低阶项范围内，范围 top-k 查询编码的最优空间复杂度是多少？
• RQ2 对于 $k > 1$，是否可以精确确定范围 top-k 编码空间界中的常数因子，而不仅限于已知的 $k=1$ 情况？
• RQ3 是否可以通过消除冗余的窗口递增位来进一步压缩范围 top-k 编码？
• RQ4 能否定义并最优编码一种新问题——范围最小-最大查询？该问题是否支持高效的查询？
• RQ5 该编码是否可附加 $o(n)$ 位以支持 $\mathcal{O}(1)$-时间查询？

主要发现

• 本论文确立了范围 top-k 编码的最优空间复杂度为 $(k+1.5)nH(1.5/(k+1.5)) + o(n\lg k)$ 位，优于此前的最佳界 $(k+2)nH(2/(k+2))$。
• 首次为 $k > 1$ 精确确定了空间界中 $n$ 的系数，解决了 Grossi 等人与 Navarro 等人提出的开放问题。
• 通过利用数组与其逆序之间的对称性，将窗口编码位向量 $E_{\text{WIN}}$ 中的 1 位数从 $n$ 减少至 $n/2 - o(n)$，从而优化了熵项中的主导系数。
• 引入了范围最小-最大编码并证明其为空间最优，且可附加 $o(n)$ 位以支持 $\mathcal{O}(1)$-时间查询。
• 所提出的数据结构可在 $\mathcal{O}(k^6 \lg^2 n \cdot f(n))$ 时间内支持范围 top-k 查询，其中 $f$ 为任意严格递增函数，且在熵项之外的空间复杂度为 $o(n\lg k)$。
• 通过结合笛卡尔树的熵压缩与选择性窗口递增跟踪，该方法实现了最优空间使用，显著减少了编码中的冗余。