[论文解读] The Bloom Clock.

Lum Ramabaja|arXiv (Cornell University)|May 30, 2019

Distributed systems and fault tolerance参考文献 12被引用 5

一句话总结

Bloom Clock 是一种空间高效的概率数据结构，通过使用滑动窗口和可配置参数，在保持事件因果关系检测高精度的同时，取代了分布式系统中的向量时钟，实现了低空间复杂度。它消除了误报（false negatives），并量化了误报率，从而实现可调节置信区间的可靠部分排序。

ABSTRACT

The bloom clock is a space-efficient, probabilistic data structure designed to determine the partial order of events in highly distributed systems. The bloom clock, like the vector clock, can autonomously detect causality violations by comparing its logical timestamps. Unlike the vector clock, the space complexity of the bloom clock does not depend on the number of nodes in a system. Instead it depends on a set of chosen parameters that determine its confidence interval, i.e. false positive rate. To reduce the space complexity from which the vector clock suffers, the bloom clock uses a 'moving window' in which the partial order of events can be inferred with high confidence. If two clocks are not comparable, the bloom clock can always deduce it, i.e. false negatives are not possible. If two clocks are comparable, the bloom clock can calculate the confidence of that statement, i.e. it can compute the false positive rate between comparable pairs of clocks. By choosing an acceptable threshold for the false positive rate, the bloom clock can properly compare the order of its timestamps, with that of other nodes in a highly accurate and space efficient way.

研究动机与目标

• 解决大规模分布式系统中向量时钟的高空间复杂度问题。
• 降低节点数量众多的系统中逻辑时间戳的存储开销。
• 在最小化误报的情况下，实现对事件因果关系的准确检测。
• 提供一种机制，以量化因果关系之间的置信度。
• 设计一种在节点数量增加时仍能高效扩展且不增加空间需求的系统。

提出的方法

• Bloom Clock 使用滑动窗口聚焦于最近的事件，从而减少对所有节点时间戳的追踪需求。
• 它采用一种概率数据结构（受布隆过滤器启发）以紧凑方式表示逻辑时间戳。
• 时钟之间的比较是概率性的：如果时钟不可比较，结果始终正确（无误报）。
• 通过可配置参数确定的误报率来计算可比较性的置信度。
• 通过调整窗口大小和哈希函数数量等参数，实现期望的置信区间。
• 通过基于误报率判断一个时钟的时间戳是否可能在另一个时钟之前，来确定时钟之间的可比较性。

实验结果

研究问题

• RQ1 如何在不牺牲因果关系检测精度的前提下，使分布式系统中逻辑时间戳的管理更加空间高效？
• RQ2 在概率因果排序中，空间效率与误报率之间的权衡是什么？
• RQ3 系统能否以高置信度检测因果关系违规，同时避免误报？
• RQ4 是否可能使用一种空间复杂度不随节点数量增长而增加的数据结构，来维持部分序关系？
• RQ5 如何在分布式环境中量化并调节对因果关系的置信度？

主要发现

• Bloom Clock 实现了与系统中节点数量无关的空间复杂度，这与向量时钟不同。
• 误报不可能发生：如果两个时钟不可比较，Bloom Clock 总能正确检测到这一点。
• 通过可配置参数，可以调节声称两个时钟之间存在因果关系的误报率。
• 时钟之间的可比较性以可量化的置信水平确定，从而支持面向应用的调优。
• 通过聚焦于最近事件的滑动窗口，系统在因果排序中保持了高精度。
• 通过使用概率技术，Bloom Clock 在保持分布式系统中可靠因果推断的同时，减少了存储开销。