[论文解读] On Dynamic Breadth-First Search in External-Memory

Ulrich Meyer|ArXiv.org|Feb 20, 2008

Advanced Data Storage Technologies参考文献 15被引用 8

一句话总结

本论文提出了首个针对稀疏无向图中动态广度优先搜索（BFS）的非平凡外部内存算法，采用随机聚类与自适应提前/延迟策略，实现每次更新的摊销I/O复杂度为 $ O(n/B^{2/3} + \mathrm{sort}(n) \cdot \log B) $，适用于 $ \Theta(n) $ 次边的插入或删除操作。该方法利用概率界与分层聚类技术，最小化昂贵的随机I/O操作，在外部内存中显著优于静态BFS的性能。

ABSTRACT

We provide the first non-trivial result on dynamic breadth-first search (BFS) in external-memory: For general sparse undirected graphs of initially $n$ nodes and O(n) edges and monotone update sequences of either $Θ(n)$ edge insertions or $Θ(n)$ edge deletions, we prove an amortized high-probability bound of $O(n/B^{2/3}+\sort(n)\cdot \log B)$ I/Os per update. In contrast, the currently best approach for static BFS on sparse undirected graphs requires $Ω(n/B^{1/2}+\sort(n))$ I/Os.

研究动机与目标

• 为解决完全外部内存模型中动态图算法的缺失问题，特别是针对BFS等基础图遍历操作。
• 设计一种高效的动态BFS算法，能够在外部内存中处理单调的 $ \Theta(n) $ 次边插入或删除序列。
• 在大规模数据工作负载下，实现比外部内存中静态BFS更优的摊销I/O性能。
• 探索随机化与分层聚类技术在减少动态图处理中昂贵随机I/O操作方面的可行性。

提出的方法

• 提出一种分层聚类方案，将顶点分组为小直径簇，以减少随机访问开销。
• 采用随机化的提前/延迟机制：对于插入操作，使用递增的提前步长 $ \alpha_j = 2^j $ 预加载邻接表；对于删除操作，采用延迟策略。
• 通过概率分析限制昂贵更新的数量，区分类型B1（小提前）与类型B2（大提前）更新。
• 结合高概率的摊销分析，利用布尔不等式控制所有更新的总I/O成本。
• 依赖外部内存原原子操作，如扫描与排序，其中 $ \mathrm{sort}(n) $ 为主要成本，用于排序邻接点集合。
• 引入基于阈值的更新分类机制，平衡非结构化I/O（随机访问）与批量I/O（扫描），以最小化总I/O量。

实验结果

研究问题

• RQ1 在外部内存中，动态BFS算法能否在稀疏图上实现优于静态BFS的摊销I/O性能？
• RQ2 是否可以设计一种动态BFS算法，在单调更新序列下保持每次更新的次线性I/O成本？
• RQ3 如何利用随机化与分层聚类技术减少动态图处理中的昂贵随机I/O操作？
• RQ4 更新序列结构（插入与删除）对外部内存BFS中摊销I/O成本有何影响？
• RQ5 该算法能否扩展至混合更新序列，或适用于I/O特性不同的闪存存储系统？

主要发现

• 所提出的动态BFS算法在 $ \Theta(n) $ 次边插入或删除操作下，实现每次更新的摊销I/O复杂度为 $ O(n/B^{2/3} + \mathrm{sort}(n) \cdot \log B) $。
• 该复杂度优于目前已知的静态BFS I/O复杂度 $ O(n/B^{1/2} + \mathrm{sort}(n)) $，尤其在 $ B $ 较大时优势显著，表明在外部内存中具有重要性能提升。
• 算法采用高概率的随机策略，确保昂贵更新的数量被有效控制，从而实现有效的摊销。
• 对于类型B2更新（大提前），其数量以高概率被限制在 $ O(n \cdot B / 2^{3j}) $ 以内，这对整体I/O复杂度有重要贡献。
• 删除版本（增量式）与插入版本对称，采用延迟机制而非提前机制，具有相似的I/O复杂度。
• 在混合更新序列下，由于摊销机制失效，算法性能显著下降，凸显了其关键局限性。