[论文解读] Sharp Load Thresholds for Cuckoo Hashing

Nikolaos Fountoulakis, Κωνσταντίνος Παναγιώτου|ArXiv.org|Oct 27, 2009

Algorithms and Data Compression参考文献 18被引用 8

一句话总结

该论文通过将问题建模为随机k-均匀超图并分析完美匹配的存在性，确定了k ≥ 2时的精确负载阈值。证明了存在一个临界负载阈值c∗_k，其由超越方程的闭式解给出，并表明在高概率下，当负载低于c∗_k时可成功分配，高于c∗_k时则不可能，从而解决了关于cuckoo哈希系统中最大可实现利用率的开放问题。

ABSTRACT

The paradigm of many choices has influenced significantly the design of efficient data structures and, most notably, hash tables. Cuckoo hashing is a technique that extends this concept. There,we are given a table with $n$ locations, and we assume that each location can hold one item. Each item to be inserted chooses randomly k>1 locations and has to be placed in any one of them. How much load can cuckoo hashing handle before collisions prevent the successful assignment of the available items to the chosen locations? Practical evaluations of this method have shown that one can allocate a number of elements that is a large proportion of the size of the table, being very close to 1 even for small values of k such as 4 or 5. In this paper we show that there is a critical value for this proportion: with high probability, when the amount of available items is below this value, then these can be allocated successfully, but when it exceeds this value, the allocation becomes impossible. We give explicitly for each k>1 this critical value. This answers an open question posed by Mitzenmacher (ESA '09) and underpins theoretically the experimental results. Our proofs are based on the translation of the question into a hypergraph setting, and the study of the related typical properties of random k-uniform hypergraphs.

研究动机与目标

• 为k ≥ 3时每个项目有k种选择的cuckoo哈希是否存在尖锐负载阈值这一开放问题提供解答。
• 确定在高概率下区分可行与不可行项目分配的负载阈值c∗_k的精确值。
• 为cuckoo哈希中观察到的高内存利用率（特别是k = 4, 5时）提供理论基础。

提出的方法

• 将cuckoo哈希问题建模为随机k-均匀超图，其中项目为超边，位置为顶点。
• 将有效分配的存在性转化为超图中完美匹配的存在性。
• 利用随机图论和大偏差理论工具分析随机k-均匀超图的典型性质。
• 通过求解涉及Lambert W函数和指数项的超越方程，推导出临界阈值。
• 运用凸性与泰勒展开论证，界定匹配概率在阈值附近的偏离程度。
• 采用超图局部结构的多尺度分析，证明在c∗_k处存在相变。

实验结果

研究问题

• RQ1 当每个项目有k ≥ 3种选择时，cuckoo哈希是否存在尖锐的负载阈值？
• RQ2 在高概率下，区分成功分配可行与不可行的负载阈值c∗_k的精确值是什么？
• RQ3 c∗_k作为k的函数如何变化？当k增大时，c∗_k是否趋近于1？

主要发现

• 对于所有k ≥ 2，负载阈值c∗_k存在，其表达式为c∗_k = ξ∗ / (k(1 − e−ξ∗)^{k−1})，其中ξ∗是方程k = ξ∗(e^{ξ∗} − 1)/(e^{ξ∗} − 1 − ξ∗)的唯一解。
• 当k = 3时，c∗_3 ≈ 0.917；当k = 4时，c∗_4 ≈ 0.976；当k = 5时，c∗_5 ≈ 0.992，证实了接近最优的内存利用率。
• 以高概率，若项目数量低于c∗_k · n，则存在满足所有k种选择的有效分配。
• 若项目数量超过c∗_k · n，则以高概率不存在此类分配。
• 在c∗_k处的相变是尖锐的：当c越过c∗_k时，成功分配的概率从1骤降至0。
• 该分析证实了在k = 4或5时观察到的接近100%内存利用率的实验现象，其理论基础正是精确阈值的存在。