[论文解读] The Distributed Bloom Filter

Lum Ramabaja, Arber Avdullahu|arXiv (Cornell University)|Oct 17, 2019

Caching and Content Delivery参考文献 6被引用 5

一句话总结

分布式布隆过滤器（DBF）是一种空间高效、概率性的数据结构，通过利用独特的布隆过滤器映射方式以及一种计算轻量级的新方法来填充布隆过滤器，实现了在分布式系统中高度带宽高效的集合同步。尽管使用了具有50%误报率的布隆过滤器——导致其尺寸极为紧凑——DBF 仍能在少数几次迭代内实现网络中所有节点间100%的数据一致性，其收敛速度和计算效率均优于标准布隆过滤器。

ABSTRACT

The Distributed Bloom Filter is a space-efficient, probabilistic data structure designed to perform more efficient set reconciliations in distributed systems. It guarantees eventual consistency of states between nodes in a system, while still keeping bloom filter sizes as compact as possible. The eventuality can be tweaked as desired, by tweaking the distributed bloom filter's parameters. The scalability, as well as accuracy of the data structure is made possible by combining two novel ideas: The first idea introduces a new, computationally inexpensive way for populating bloom filters, making it possible to quickly compute new bloom filters when interacting with peers. The second idea introduces the concept of unique bloom filter mappings between peers. By applying these two simple ideas, one can achieve incredibly bandwidth-efficient set reconciliation in networks. Instead of trying to minimize the false positive rate of a single bloom filter, we use the unique bloom filter mappings to increase the probability for an element to propagate through a network. We compare the standard bloom filter with the distributed bloom filter and show that even with a false positive rate of 50%, i.e. even with a very small bloom filter size, the distributed bloom filter still manages to reach complete set reconciliation across the network in a highly space-efficient, as well as time-efficient way.

研究动机与目标

• 解决在最小带宽和存储开销下实现分布式系统最终一致性的挑战。
• 通过降低传统布隆过滤器使用带来的计算和通信成本，提升集合同步的效率。
• 通过使用最小误报率的概率数据结构，在网络中实现可扩展且准确的数据同步。
• 设计一种系统，使布隆过滤器的大小和更新频率最小化，同时保持网络的完全收敛。

提出的方法

• 提出一种计算开销极低的新方法来填充布隆过滤器，避免在每次更新时从头重新计算整个过滤器。
• 在对等节点之间采用独特的布隆过滤器映射机制，以提高即使在高误报率下元素在网络中传播的概率。
• 采用参数化方法调节收敛的最终性，从而在带宽、延迟和一致性之间实现可调的权衡。
• 应用一种改进的布隆过滤器填充策略，在保持紧凑过滤器尺寸的同时，实现在对等通信中快速且增量式的更新。
• 利用即使在50%误报率下，系统的分布式特性也能通过反复的对等交换实现完全同步的事实。
• 采用全网范围的迭代交换机制，节点将自身的布隆过滤器传播给邻居节点，并进行合并，逐步收敛至一个共同的集合。

实验结果

研究问题

• RQ1 即使使用50%误报率的布隆过滤器，概率性数据结构是否仍能在分布式网络中实现完全的数据一致性？
• RQ2 在动态的对等环境中，如何优化布隆过滤器的填充过程以减少计算开销？
• RQ3 对等节点之间的独特布隆过滤器映射在提升元素在网络中传播能力方面起到什么作用？
• RQ4 在保持最终一致性的前提下，集合同步中可将带宽和计算成本降低到何种程度？
• RQ5 通过迭代对等交换，系统是否能仅使用紧凑且高错误率的布隆过滤器，实现所有节点100%的收敛？

主要发现

• 分布式布隆过滤器在最大集合大小为1,000个元素的50个节点网络中，即使在50%误报率下，也实现了100%的收敛。
• 相比之下，标准布隆过滤器仅在每个节点上实现了中位数793个元素的集合大小，且仅有18个节点完全收敛。
• DBF 所需的计算量比标准布隆过滤器少数倍，尤其是在过滤器大小频繁变化的动态环境中表现更优。
• 即使标准布隆过滤器动态调整其大小以维持50%的误报率，仍无法使大多数节点实现完全收敛。
• DBF 独特的映射机制显著提高了元素传播的概率，使得在高误报率下仍能实现完全同步。
• 实验结果表明，DBF 可在极低带宽和计算成本下实现全网一致性，因此适用于区块链和P2P网络等真实分布式系统。