[论文解读] On the representation of de Bruijn graphs

Rayan Chikhi, Antoine Limasset+3 more|arXiv (Cornell University)|Jan 21, 2014

Genomics and Phylogenetic Studies参考文献 26被引用 15

一句话总结

该论文提出 dbgfm，一种新颖的数据结构，通过利用基于频率的最小化器来枚举最大简单路径，显著减少了 de Bruijn 图的内存占用。在人类全基因组数据上实现了 46% 的内存减少（1.5 GB），并可集成至 ABySS 等组装器中，实现接近 2n 位每 k-mer 的近最优空间使用率。

ABSTRACT

The de Bruijn graph plays an important role in bioinformatics, especially in the context of de novo assembly. However, the representation of the de Bruijn graph in memory is a computational bottleneck for many assemblers. Recent papers proposed a navigational data structure approach in order to improve memory usage. We prove several theoretical space lower bounds to show the limitation of these types of approaches. We further design and implement a general data structure (DBGFM) and demonstrate its use on a human whole-genome dataset, achieving space usage of 1.5 GB and a 46% improvement over previous approaches. As part of DBGFM, we develop the notion of frequency-based minimizers and show how it can be used to enumerate all maximal simple paths of the de Bruijn graph using only 43 MB of memory. Finally, we demonstrate that our approach can be integrated into an existing assembler by modifying the ABySS software to use DBGFM.

研究动机与目标

• 为解决基因组组装器中 de Bruijn 图表示的高内存开销，特别是人类和北美白松等大基因组的场景。
• 形式化导航数据结构（NDS）并建立其表示的理论空间下限。
• 设计一种实用且低内存消耗的数据结构（dbgfm），利用真实世界 de Bruijn 图的结构特征，尤其是其分解为长简单路径的特性。
• 证明基于频率的最小化器可实现仅需 43 MB 内存的高效、内存内最大简单路径枚举。
• 将 dbgfm 集成至现有组装器（ABySS）中，并证明其在保持核心组装工作流兼容性的同时显著降低内存使用。

提出的方法

• 使用 k-mer 计数软件将测序数据预处理为存储在磁盘上的 k-mer 列表，实现常数内存的预处理。
• 应用基于频率的最小化器——基于数据集中 ℓ-mer 频率的非字典序排列——以引导最大简单路径的枚举。
• 开发一种新算法，无需将完整图加载至内存即可枚举所有最大简单路径，依赖频率有序的最小化器引导遍历。
• 使用 FM-index 数据结构存储枚举的路径，支持高效的秩/选择操作和邻域查询。
• 将 dbgfm 构建为路径表示的压缩 FM-index，实现接近每 k-mer 2n 位理论下限的空间使用率。
• 通过用 FM-index 化结构替换其哈希表，将 dbgfm 集成至 ABySS 组装器中，保持功能同时减少内存占用。

实验结果

研究问题

• RQ1 使用导航数据结构表示 de Bruijn 图的理论最小空间需求是多少？与已知上界相比如何？
• RQ2 能否利用真实世界 de Bruijn 图的结构特性——尤其是其分解为长简单路径的特性——来设计更高效的内存表示？
• RQ3 基于频率的最小化器是否能在路径枚举过程中优于字典序或随机排序，从而减少内存使用？
• RQ4 在实际应用中，de Bruijn 图表示的空间使用率能降低到何种程度，接近每 k-mer 2n 位的理论下限？
• RQ5 像 dbgfm 这类低内存数据结构能否在不牺牲功能或性能的前提下成功集成至现有组装器流水线中？

主要发现

• 该论文证明了任何导航数据结构的理论下限为 3.24n 位，突显了此类方法的极限。
• 在线性 de Bruijn 图（即简单路径）上，导航和通用数据结构均可实现每 k-mer 2n 位的空间使用率，达到理论下限。
• 在人类全基因组数据集上，dbgfm 实现了每 k-mer 4.76n 位，在 14 号染色体上为每 k-mer 3.53n 位，相较于先前最先进方法分别实现了 46% 和 60% 的改进。
• 通过使用基于频率的最小化器，作者仅用 43 MB 内存即完成了人类全基因组 de Bruijn 图的压缩，证明了路径枚举的高效率。
• 在 ABySS 中集成 dbgfm 后，与 sparsehash 实现相比内存使用减少了 70%，但运行时间增加了 33%。
• dbgfm 中图结构仅占总内存的 6%，而哈希表版本中占 54%，表明主要内存节省来自压缩表示，而非关联数据。