[论文解读] Perfect Consistent Hashing

M Sackman|arXiv (Cornell University)|Mar 17, 2015

Algorithms and Data Compression参考文献 6被引用 5

一句话总结

本文提出了一种确定性的完美一致哈希算法，通过使用排列的通用循环而非圆上的随机放置，实现了添加或删除哈希码时的精确均匀分布和最小重映射。与经典算法依赖概率假设并仅近似均匀分布不同，该方法通过组合排列生成实现精确分布，代价是计算成本较高，但保证了完全正确性和确定性。

ABSTRACT

Consistent Hashing functions are widely used for load balancing across a variety of applications. However, the original presentation and typical implementations of Consistent Hashing rely on randomised allocation of hash codes to keys which results in a flawed and approximately-uniform allocation of keys to hash codes. We analyse the desired properties and present an algorithm that perfectly achieves them without resorting to any random distributions. The algorithm is simple and adds to our understanding of what is necessary to create a consistent hash function.

研究动机与目标

• 解决经典一致哈希中固有的缺陷，该方法依赖于随机哈希码的放置，仅近似实现均匀分布。
• 开发一种确定性算法，在添加或删除哈希码时实现哈希分布的完美均匀性。
• 确保最小重映射——仅将新添加或删除的哈希码所分配的键重新定位，而不改变其他现有映射。
• 消除对随机分布的依赖，同时保持一致哈希的核心特性：确定性、均匀性和最小重映射。
• 提供一种数学上严谨的替代方案，具有可证明的正确性，并提升理论理解。

提出的方法

• 该算法用基于排列的构造替代经典方法中的圆形哈希空间，使用简写排列的通用循环。
• 通过递归地使用模算术和预定义的哈希码序列对键的熵进行划分，为每个键生成完整的排列。
• 该方法确保当添加新哈希码时，每个现有哈希码恰好将其1/|C′|的键分配给新码，从而保持均匀性。
• 该算法在键被逐字节处理时动态构建排列，避免存储完整树结构，降低内存开销。
• 通过阶乘数制实现从键值到排列的确定性映射，只要键的熵足够，即可到达所有可能的排列。
• 该算法支持哈希码的插入和删除，实现精确的重新分配，保持均匀性，且不需对旧哈希码中的键进行重映射。

实验结果

研究问题

• RQ1 是否可以在不依赖随机分布的情况下实现一致哈希的完美均匀性？
• RQ2 在添加或删除哈希码时，如何精确保持重映射特性？
• RQ3 何种组合结构能够实现哈希码集合变化时的确定性、均匀的键重新分配？
• RQ4 是否可以构建一种一致哈希函数，避免经典算法的统计近似？
• RQ5 实现完美一致性的计算成本是多少？是否可通过增量构造方式缓解？

主要发现

• 所提出的算法实现了完美均匀性：在任何添加或删除操作后，任意键映射到任一哈希码的概率恰好为1/|C|。
• 该算法确保最小重映射：仅先前分配给新添加或删除的哈希码的键被重新定位，其他映射保持不变。
• 生成完整排列的平均时间复杂度为O(|C| log |C|)，单个结果的复杂度为O(|C|)，高于经典算法的O(log |C|)。
• 该方法通过在键被逐字节处理时动态生成排列，避免在内存中存储所有哈希码位置，从而降低内存使用。
• 该算法对键的熵敏感：若键空间熵不足，则并非所有排列都可达，部分哈希码可能永远不会出现在排列的最前面。
• 该方法通过提供节点在读/写操作中的确定性、可预测的排序，在分布式系统中实现实际应用，改善热点键场景下的负载均衡和延迟。