[论文解读] Retouched Bloom Filters: Allowing Networked Applications to Flexibly Trade Off False Positives Against False Negatives

Benoît Donnet, Bruno Baynat+1 more|ArXiv.org|Jul 9, 2006

Caching and Content Delivery参考文献 13被引用 4

一句话总结

本文提出了润色布隆过滤器（RBF），一种变体，允许网络应用通过将某些1位翻转为0位来选择性地消除误报，同时以可控的误报率增加为代价。RBF在保持与原始布隆过滤器相同总体错误率的同时，使应用能够减少最具破坏性的误报，且无需增加带宽或过滤器大小。

ABSTRACT

Where distributed agents must share voluminous set membership information, Bloom filters provide a compact, though lossy, way for them to do so. Numerous recent networking papers have examined the trade-offs between the bandwidth consumed by the transmission of Bloom filters, and the error rate, which takes the form of false positives, and which rises the more the filters are compressed. In this paper, we introduce the retouched Bloom filter (RBF), an extension that makes the Bloom filter more flexible by permitting the removal of selected false positives at the expense of generating random false negatives. We analytically show that RBFs created through a random process maintain an overall error rate, expressed as a combination of the false positive rate and the false negative rate, that is equal to the false positive rate of the corresponding Bloom filters. We further provide some simple heuristics and improved algorithms that decrease the false positive rate more than than the corresponding increase in the false negative rate, when creating RBFs. Finally, we demonstrate the advantages of an RBF over a Bloom filter in a distributed network topology measurement application, where information about large stop sets must be shared among route tracing monitors.

研究动机与目标

• 解决标准布隆过滤器无法选择性消除高影响误报的局限性。
• 使网络应用能够将选定的误报与可控的误报率增加进行权衡。
• 保持与原始布隆过滤器相同的总体错误率（误报率与误报率的加权和）。
• 提供实用的启发式方法与算法，使在RBF构建过程中误报率的降低幅度超过误报率的增加幅度。
• 在真实网络测量应用中展示RBF的实用性，例如分布式拓扑发现。

提出的方法

• 使用标准技术构建标准布隆过滤器，并设定目标误报率。
• 在过滤器构建后，识别并针对特定的误报——尤其是高频率或高影响的误报——进行处理。
• 应用润色过程，将布隆过滤器中选定的1位翻转为0位，从而降低这些元素触发误报的可能性。
• 使用随机过程进行位翻转，以在理论上保持总体错误率不变，该错误率定义为误报率与误报率的加权组合。
• 设计启发式算法，优先翻转与最严重误报相关的位，以实现每增加一个误报所对应的误报率降低最大化。
• 确保所有RBF构建开销均局限于发送方，不增加通信带宽或过滤器大小。

实验结果

研究问题

• RQ1 我们能否在不增加总体错误率的情况下，减少布隆过滤器中选定高影响元素的误报率？
• RQ2 在选择性修改布隆过滤器位时，误报率降低与误报率增加之间的理论权衡是什么？
• RQ3 能否设计出实用的启发式方法，使在真实应用中误报率的降低幅度超过误报率的增加幅度？
• RQ4 在随机润色下，RBF是否能保持与原始布隆过滤器相同的总体错误率？
• RQ5 在哪些网络应用中，RBF能为性能带来可测量的改进，优于标准布隆过滤器？

主要发现

• 当随机翻转位时，润色布隆过滤器（RBF）在减少误报并引入误报的同时，仍能保持与原始布隆过滤器相同的总体错误率。
• 用于RBF构建的启发式算法所实现的误报率降低幅度，大于其导致的误报率增加幅度，使实际权衡更加有利。
• RBF使应用能够消除最具破坏性的误报（例如频繁出现的IP地址相关的误报），而无需增加带宽或过滤器大小。
• 在如使用追踪路由监控进行分布式拓扑发现等网络测量应用中，RBF特别有效，因为高频率地址的误报会显著降低性能。
• 与现有布隆过滤器变体相比，RBF在选择性抑制误报的同时，保持过滤器大小和总体错误率方面表现出更强的性能。
• 对于可容忍低误报率的应用，使用RBF可实现错误影响的净减少，尤其是在误报非均匀分布的情况下。