[论文解读] Nearly Optimal Space Efficient Algorithm for Depth First Search

Jayesh Choudhari, Manoj Gupta+1 more|arXiv (Cornell University)|Oct 16, 2018

Computational Geometry and Mesh Generation参考文献 10被引用 4

一句话总结

本论文提出了一种随机化、空间高效的深度优先搜索（DFS）算法，该算法在仅使用 $O(n)$ 位内存的情况下，以 $O(m + n/log^{*}n)$ 时间运行，实现了在严格空间约束下的近似最优性能。通过利用分层数据结构和具有 $O(1)$ 期望操作时间的 succinct 字典，该算法高效地追踪顶点状态和边遍历过程，而无需存储 DFS 树，从而解决了关于更快的 $O(n)$-bit DFS 算法的长期开放性问题。

ABSTRACT

We design a space-efficient algorithm for performing depth-first search traversal(DFS) of a graph in $O(m+n\log^* n)$ time using $O(n)$ bits of space. While a normal DFS algorithm results in a DFS-tree (in case the graph is connected), our space bounds do not permit us even to store such a tree. However, our algorithm correctly outputs all edges of the DFS-tree. The previous best algorithm (which used $O(n)$ working space) took $O(m \log n)$ time (Asano, Izumi, Kiyomi, Konagaya, Ono, Otachi, Schweitzer, Tarui, Uehara (ISAAC 2014) and Elmasry, Hagerup, Krammer (STACS 2015)). The main open question left behind in this area was to design faster algorithm for DFS using $O(n)$ bits of space. Our algorithm answers this open question as it has a nearly optimal running time (as the DFS takes $O(m+n)$ time even if there is no space restriction).

研究动机与目标

• 设计一种在近线性时间内运行且仅使用 $O(n)$ 位空间的 DFS 算法，以弥合理论最优性与实际空间效率之间的差距。
• 解决自 Asano 等人（2014 年）以来长期未解的开放问题：是否可以在使用 $O(n)$ 位内存的前提下，以 $o(m\log n)$ 时间完成 DFS。
• 在物联网设备和大数据系统等内存严重受限的环境中，实现高效 DFS 遍历。
• 开发一种实用的随机化算法，具有高概率正确性（$1 - 1/n^c$），并确保在动态数据结构上每项操作的期望时间为 $O(1)$。

提出的方法

• 该算法基于度数对顶点进行分层划分，将顶点分组为层级 $\mathcal{S}_i$ 和 $\mathcal{T}_i$，分别独立管理高、低度顶点。
• 为高负荷顶点维护动态字典 $\mathcal{H}_i$，使用支持高概率 $O(1)$ 期望时间插入与删除操作的 succinct 数据结构。
• 采用基于颜色的状态追踪系统（白色、灰色、黑色）来模拟 DFS 遍历过程，并通过恢复程序在更新后保持数据结构的一致性。
• 该算法采用递归结构，仅在必要时通过 Restore-Full 或 Restore-Empty 程序恢复每一层 $\mathcal{S}_i$，每层的恢复次数受 $O((\log^{(i)}n)^2)$ 限制。
• 通过使用迭代对数函数 $\log^{(i)}n$，算法在空间与时间之间实现平衡，所有结构的总空间被限制在 $O(n)$ 位以内。
• 该算法利用寄存器输入模型，即输入为只读，工作空间限制在 $O(n)$ 位以内，从而在不修改输入图的前提下确保空间效率。

实验结果

研究问题

• RQ1 是否可以在仅使用 $O(n)$ 位空间的前提下，以 $o(m\log n)$ 时间完成 DFS，从而在严格空间约束下实现近乎最优的时间复杂度？
• RQ2 如何设计动态数据结构，使其在 $O(n)$-位内存下支持 $O(1)$ 期望时间操作，同时保证 DFS 遍历的正确性？
• RQ3 在图流处理和内存受限系统背景下，不存储 DFS 树的情况下，模拟 DFS 遍历所需的最小空间开销是多少？
• RQ4 使用分层顶点分组与迭代对数层级是否能够减少空间受限 DFS 算法中的总操作次数与恢复时间？

主要发现

• 该算法以高概率 $(1 - 1/n^c)$ 实现 $O(m + n\log^{*}n)$ 的运行时间，接近最优，因为 DFS 的理论下界为 $O(m+n)$。
• 总空间使用量被限制在 $O(n)$ 位以内，所有辅助数据结构（包括字典和层级集合）对总空间的贡献为次线性。
• 任意结构 $\mathcal{S}_i$ 的恢复次数受 $O((\log^{(i)}n)^2)$ 限制，确保总恢复成本在整体时间界限内。
• 使用具有 $O(1)$ 期望操作时间的 succinct 字典，可高效追踪顶点状态与组成员关系，这对在空间约束下维持性能至关重要。
• 所有分层结构 $\mathcal{T}_i$ 和 $\mathcal{H}_i$ 的累积空间渐近可忽略，总和为 $O(n)$ 位，证实了该设计的空间高效性。
• 与 Asano 等人及 Hagerup 的先前 $O(m\log n)$ 时间 $O(n)$-位 DFS 算法相比，该算法将时间复杂度降低至 $m+n$ 的近乎线性级别。