[论文解读] Succinct Data Structures for Retrieval and Approximate Membership

Martin Dietzfelbinger, Rasmus Pagh|ArXiv.org|Mar 26, 2008

Caching and Content Delivery参考文献 33被引用 46

一句话总结

该论文提出了一类简洁的数据结构，用于检索和近似成员查询，其空间使用量在 $k$-查询时间下接近最优，仅比最优值多出 $1 + e^{-k}$ 的因子，消除了以往方法中常见的 $\Theta(n)$-比特空间开销。通过利用随机矩阵理论和完美哈希，即使在完全随机假设下，也能实现近乎最优的空间使用量与快速查询时间，甚至在高概率下实现 $n + O(\log \log n)$ 比特的空间使用。

ABSTRACT

The retrieval problem is the problem of associating data with keys in a set. Formally, the data structure must store a function f: U ->{0,1}^r that has specified values on the elements of a given set S, a subset of U, |S|=n, but may have any value on elements outside S. Minimal perfect hashing makes it possible to avoid storing the set S, but this induces a space overhead of Theta(n) bits in addition to the nr bits needed for function values. In this paper we show how to eliminate this overhead. Moreover, we show that for any k query time O(k) can be achieved using space that is within a factor 1+e^{-k} of optimal, asymptotically for large n. If we allow logarithmic evaluation time, the additive overhead can be reduced to O(log log n) bits whp. The time to construct the data structure is O(n), expected. A main technical ingredient is to utilize existing tight bounds on the probability of almost square random matrices with rows of low weight to have full row rank. In addition to direct constructions, we point out a close connection between retrieval structures and hash tables where keys are stored in an array and some kind of probing scheme is used. Further, we propose a general reduction that transfers the results on retrieval into analogous results on approximate membership, a problem traditionally addressed using Bloom filters. Again, we show how to eliminate the space overhead present in previously known methods, and get arbitrarily close to the lower bound. The evaluation procedures of our data structures are extremely simple (similar to a Bloom filter). For the results stated above we assume free access to fully random hash functions. However, we show how to justify this assumption using extra space o(n) to simulate full randomness on a RAM.

研究动机与目标

• 消除最小完美哈希和检索数据结构中常见的 $\Theta(n)$-比特空间开销。
• 在 $n$ 趋于无穷大时，实现 $k$-查询时间下空间使用量在 $1 + e^{-k}$ 以内的最优值。
• 在对数查询时间下，将附加空间开销减少至 $O(\log \log n)$ 比特，且在高概率下成立。
• 建立从检索结构到近似成员查询的一般性归约，从而实现空间最优的布隆过滤器替代方案。
• 通过使用 $o(n)$ 额外空间模拟完全随机性，证明在实际应用中使用完全随机哈希函数的合理性。

提出的方法

• 利用低权重行的随机矩阵秩的紧致界，确保在高概率下具有满行秩。
• 通过高斯消元法和二分图中的完美匹配构造完美哈希函数，将键映射到唯一位置。
• 使用长度为 $m = (1 + \delta)n$ 的向量 $a$ 表示哈希函数，每个元素为 $r = \lceil \log k \rceil$ 比特，以最小化空间开销。
• 应用分割技巧，在保持正确性和空间效率的同时减少构造时间。
• 通过一般性变换将检索问题归约为近似成员查询，从而实现空间最优的近似成员查询数据结构。
• 使用 $o(n)$ 额外空间模拟完全随机哈希函数，以在实际中合理化完全随机性的假设。

实验结果

研究问题

• RQ1 是否可以构造出空间使用量任意接近信息论下限的检索数据结构？
• RQ2 对于 $k$-查询时间的检索结构，可实现的最小空间开销是多少？是否可被 $1 + e^{-k}$ 所界定？
• RQ3 是否可以将近似成员查询结构中的空间开销减少至接近最优水平，使其匹配熵的下限？
• RQ4 随机矩阵秩阈值与 $k$-元布氏哈希之间的对应关系在 $r$ 较小时是否仍然成立？
• RQ5 能否使用更简单的哈希函数替代完全随机哈希函数，而不会牺牲构造过程中的空间或时间效率？

主要发现

• 该论文在检索任务中实现了 $n + o(n)$ 比特的空间使用量，消除了以往方法中 $\Theta(n)$-比特的空间开销。
• 对于 $k$-查询时间，空间使用量在最优值的 $1 + e^{-k}$ 以内，其中 $\delta = \beta_k^{-1} - 1$ 为相对开销。
• 在对数查询时间下，附加开销可减少至 $O(\log \log n)$ 比特，且在高概率下成立。
• 当 $k=4$ 时，空间使用量为 $2.07n$ 比特，优于使用最小完美哈希的先前构造方案（其空间使用量为 $2.29n$ 比特）。
• 该构造可在 RAM 上通过 $o(n)$ 额外空间实现，从而模拟完全随机哈希函数，具有实际合理性。
• 通过一般性归约，可将检索结构转化为空间最优的近似成员查询结构，其性能与熵的下限完全匹配。