[论文解读] Small Uncolored and Colored Choice Dictionaries

Torben Hagerup|arXiv (Cornell University)|Sep 20, 2018

Algorithms and Data Compression参考文献 8被引用 5

一句话总结

本文提出了一种新的原子选择字典，支持所有操作（包括初始化）在常数时间内完成，且仅使用 $n+1$ 个位的空间，当 $w=o(n)$ 时该空间使用量为最优。此外，本文还引入了一种支持 $c$ 种颜色的彩色选择字典，当 $c$ 为 2 的幂时，其空间使用量为 $n\log_2 c + 1$ 个位，从而实现了高效的空间节省型广度优先搜索（BFS），时间复杂度为 $O(n\log n + m\log\log n)$，内存使用量为 $n\log_2 3 + O((\log n)^2)$ 个位。

ABSTRACT

A choice dictionary can be initialized with a parameter $n\in\mathbb{N}$ and subsequently maintains an initially empty subset $S$ of $\{1,\ldots,n\}$ under insertion, deletion, membership queries and an operation $ extit{choice}$ that returns an arbitrary element of $S$. The choice dictionary is fundamental in space-efficient computing and has numerous applications. The best previous choice dictionary can be initialized with $n$ and $t\in\mathbb{N}$ and subsequently executes all operations in $O(t)$ time and occupies $n+O(n({t/w})^t+\log n)$ bits on a word RAM with a word length of $w=Ω(\log n)$ bits. We describe a new choice dictionary that executes all operations in constant time and, in addition to the space needed to store the integer $n$, occupies only $n+1$ bits, which is shown to be optimal if $w=o(n)$. A generalization of the choice dictionary called a colored choice dictionary is initialized with $c\in\mathbb{N}$ in addition to $n$ and subsequently maintains a semipartition $(S_0,\ldots,S_{c-1})$ of $\{1,\ldots,n\}$ under the operations $ extit{setcolor}(j,\ell)$, which moves $\ell$ from its current subset to $S_j$, $ extit{color}(\ell)$, which returns the unique $j\in\{0,\ldots,c-1\}$ with $\ell\in S_j$, and $ extit{choice}(j)$, which returns an arbitrary element of $S_j$. We describe new colored choice dictionaries that, if initialized with constant $c$, execute $ extit{setcolor}$, $ extit{color}$ and $ extit{choice}$ in constant time and occupy $n\log_2\!c+1$ bits plus the space needed to store $n$ if $c$ is a power of 2, and at most $n\log_2\!c+n^ε$ bits in general, for arbitrary fixed $ε>0$. We also study the possibility of iterating over the set $S$ or over $S_j$ for given $j\in\{0,\ldots,c-1\}$ and an application of this to breadth-first search.

研究动机与目标

• 设计一种选择字典，使其在最小空间使用下支持所有操作（包括初始化）在常数时间内完成。
• 将选择字典推广为彩色变体，支持 $c$ 个不相交子集，并支持与颜色相关的操作。
• 将新数据结构应用于图上 $n$ 个顶点和 $m$ 条边的高效空间广度优先搜索（BFS）。
• 在保持近线性时间复杂度的同时，改进 BFS 的空间界限。
• 在字长 $w = \Omega(\log n)$ 的 word RAM 模型下，证明空间使用量的最优性。

提出的方法

• 使用大小为 $n$ 的位向量和一个额外的位来追踪非空状态，设计一种选择字典，实现常数时间的选择操作和其他操作。
• 采用双组件结构，每种颜色使用两个选择字典，以支持高效迭代和在 setcolor 操作期间的动态更新。
• 利用 word RAM 模型的常数时间操作，包括按位操作和整数算术运算，以实现原子操作。
• 通过在 3 色选择字典中维护灰色顶点，将彩色选择字典应用于 BFS，从而在遍历过程中高效枚举邻居。
• 在迭代过程中使用松散表示法表示容器，并在 $O(\log \log n)$ 时间内将其转换为标准形式，以支持快速枚举。
• 引入双结构技术，使两个字典在迭代过程中交替扮演角色，以保持效率和正确性。

实验结果

研究问题

• RQ1 能否设计一种选择字典，使其在仅使用 $n+1$ 个位的空间下，支持常数时间的初始化和所有操作？
• RQ2 当字长 $w$ 满足 $w=o(n)$ 时，选择字典的最优空间界限是什么？
• RQ3 能否将选择字典推广为支持 $c$ 种颜色，且操作高效、空间使用量与 $n\log_2 c$ 成比例？
• RQ4 如何利用彩色选择字典改进图算法（如 BFS）中的空间效率？
• RQ5 在使用新型彩色选择字典时，BFS 的时间复杂度与空间使用量之间存在何种权衡？

主要发现

• 所提出的選擇字典僅使用 $n+1$ 個位的空間，當 $w=o(n)$ 時為最優，且支持所有操作（包括初始化）在常數時間內完成。
• 對於 $c$ 種顏色，當 $c$ 為 2 的冪時，彩色選擇字典使用 $n\log_2 c + 1$ 個位；一般情況下，其空間使用量最多為 $n\log_2 c + n^\epsilon$ 個位，其中 $\epsilon > 0$ 為任意固定值。
• 新數據結構可使 BFS 算法在 $O(n\log n + m\log\log n)$ 時間內運行，且僅使用 $n\log_2 3 + O((\log n)^2)$ 個位的記憶體。
• 另一種 BFS 變體在 $O(n\log n + mt)$ 時間內運行，使用 $n\log_2 3 + O(n^{1/t} + (\log n)^2)$ 個位的記憶體，其中 $t \in \mathbb{N}$ 為任意固定值。
• BFS 中對灰色頂點迭代的時間界限為每操作 $O(\log \log n)$ 或 $O(t)$，取決於實現變體。
• 與先前的空間界限相比，本研究將記憶體使用量從 $n\log_2 3 + O(n/(\log n)^t)$ 減少至 $O((\log n)^2)$ 個位（當 $t$ 固定時）。