[论文解读] PtrHash: Minimal Perfect Hashing at RAM Throughput

Ragnar Groot Koerkamp|arXiv (Cornell University)|Jan 1, 2025

Advanced Image and Video Retrieval Techniques被引用 1

一句话总结

PtrHash 引入了一种针对最大查询吞吐量和快速构建而优化的最小完美哈希函数，采用固定宽度的 8 位引导值（pilots）、受 Cuckoo 哈希启发的引导值选择机制，以及通过每缓存行 Elias-Fano 编码压缩的单一重映射表。它在处理整数键时，每键查询延迟低至 8 ns，接近理论内存带宽极限，同时在流式查询场景下比次快的方法快 3 倍以上。

ABSTRACT

Given a set $K$ of $n$ keys, a minimal perfect hash function (MPHF) is a collision-free bijective map $\mathsf{H_{mphf}}$ from $K$ to $\{0, \dots, n-1\}$. This work presents a (minimal) perfect hash function that first prioritizes query throughput, while also allowing efficient construction for $10^9$ or more elements using 2.4 bits of memory per key. Both PTHash and PHOBIC first map all $n$ keys to $n/λ< n$ buckets. Then, each bucket stores a pilot that controls the final hash value of the keys mapping to it. PtrHash builds on this by using 1) fixed-width (uncompressed) 8-bit pilots, 2) a construction algorithm similar to cuckoo-hashing to find suitable pilot values. Further, it 3) uses the same number of buckets and slots for each part, with 4) a single remap table to map intermediate positions $\geq n$ to $

研究动机与目标

• 针对生物信息学和数据库等应用中高吞吐量查找场景，优化最小完美哈希以实现最大查询吞吐量。
• 解决现有最小完美哈希函数在大规模键集中每查询需多次内存访问所导致的性能瓶颈。
• 在保持每键空间使用低于 3 位的前提下，实现快速构建与低延迟流式查询。
• 在 PTHash 和 PHOBIC 的基础上，通过简化数据结构布局与减少内存访问开销实现改进。

提出的方法

• 为每个桶使用固定宽度的 8 位引导值，消除可变长度编码，简化查找逻辑。
• 在构建过程中采用受 Cuckoo 哈希启发的驱逐策略，解决引导值冲突，确保无冲突分配。
• 将键划分为固定大小的块，每块拥有独立的桶与槽，实现独立且可预测的内存布局。
• 使用单一重映射表，通过每缓存行 Elias-Fano（CacheLineEF）编码，将超出范围的哈希值映射回 [0, n-1] 范围。
• 通过硬件预取支持流式查询处理，通过重叠内存访问与计算降低有效延迟。
• 采用统一的构建流水线，均衡各块负载，并利用缓存友好的内存访问模式。

实验结果

研究问题

• RQ1 能否设计一种最小完美哈希函数，使键查找的吞吐量接近内存带宽理论峰值？
• RQ2 如何简化引导值选择与桶分配机制，以减少内存访问开销，同时保持无冲突哈希？
• RQ3 流式查询处理与预取技术在高吞吐量查找工作负载中能将吞吐量提升多少？
• RQ4 在使用固定宽度引导值与简化重映射机制时，空间效率与查询速度之间的权衡如何？

主要发现

• 在默认参数下，PtrHash 仅使用 2.4 位/键，且在流式查找处理中，查询速度比次快方法快 3.3 倍以上。
• 对于 10^9 个整数键，PtrHash 在流式处理下实现 8 ns/键的查询吞吐量，接近每缓存行 7.4 ns 的理论极限。
• PtrHash 的查询速度比 PTHash-HEM 快 2.1 倍，构建速度快 6.5 倍，尽管空间使用略高（2.4 位/键）。
• PtrHash 的紧凑配置仅使用 2.12 位/键，构建速度比 PHOBIC 快 3 倍以上，查询速度仅略慢。
• 对于字符串键，流式处理下查询吞吐量降至 23 ns/键，但得益于优化的内存访问模式，仍显著快于其他方法。
• 在多线程环境下，PtrHash 可饱和 DDR4 内存带宽，证明其可扩展至系统内存带宽极限。