[论文解读] SparseAssembler: de novo Assembly with the Sparse de Bruijn Graph

Chengxi Ye, Zhanshan Sam+3 more|arXiv (Cornell University)|Jun 14, 2011

Algorithms and Data Compression参考文献 13被引用 7

一句话总结

SparseAssembler 引入了一种稀疏 de Bruijn 图结构，通过跳过中间 k-mer 降低了内存使用量，将存储需求减少至标准方法的约 10%（g=16 时）。它集成了一个去噪算法，可去除超过 99% 的替换错误，并提出了一种类似 Dijkstra 的广度优先搜索算法，以解决多态性和残留错误，从而实现在大规模数据集上的高效从头基因组组装。

ABSTRACT

de Bruijn graph-based algorithms are one of the two most widely used approaches for de novo genome assembly. A major limitation of this approach is the large computational memory space requirement to construct the de Bruijn graph, which scales with k-mer length and total diversity (N) of unique k-mers in the genome expressed in base pairs or roughly (2k+8)N bits. This limitation is particularly important with large-scale genome analysis and for sequencing centers that simultaneously process multiple genomes. We present a sparse de Bruijn graph structure, based on which we developed SparseAssembler that greatly reduces memory space requirements. The structure also allows us to introduce a novel method for the removal of substitution errors introduced during sequencing. The sparse de Bruijn graph structure skips g intermediate k-mers, therefore reducing the theoretical memory space requirement to ~(2k/g+8)N. We have found that a practical value of g=16 consumes approximately 10% of the memory required by standard de Bruijn graph-based algorithms but yields comparable results. A high error rate could potentially derail the SparseAssembler. Therefore, we developed a sparse de Bruijn graph-based denoising algorithm that can remove more than 99% of substitution errors from datasets with a \leq 2% error rate. Given that substitution error rates for the current generation of sequencers is lower than 1%, our denoising procedure is sufficiently effective to safeguard the performance of our algorithm. Finally, we also introduce a novel Dijkstra-like breadth-first search algorithm for the sparse de Bruijn graph structure to circumvent residual errors and resolve polymorphisms.

研究动机与目标

• 为解决基于传统 de Bruijn 图的从头基因组组装在大规模或多重基因组测序项目中内存占用过高的问题。
• 通过引入跳过中间 k-mers 的稀疏表示方法，降低存储和处理 k-mers 的计算成本。
• 开发一种有效的错误校正方法，以去除测序过程中引入的替换错误，尤其适用于高通量测序数据。
• 通过一种新型图遍历算法，实现在存在残留错误和遗传多态性的情况下仍能实现准确的基因组重建。

提出的方法

• 提出一种跳过 g 个中间 k-mers 的稀疏 de Bruijn 图结构，将理论内存使用量从 (2k+8)N 降低至约 (2k/g+8)N 位。
• 基于稀疏图结构实施一种去噪算法，用于识别并去除替换错误，在错误率 ≤2% 的情况下实现超过 99% 的错误去除率。
• 提出一种针对稀疏 de Bruijn 图定制的类似 Dijkstra 的广度优先搜索算法，以解决由错误和多态性引起的路径歧义。
• 采用 g=16 的实际值以在内存节省与组装准确性之间取得平衡，实现约标准方法 10% 的内存使用量，且结果相当。
• 将稀疏图结构应用于高效表示和遍历 de Bruijn 图，最大限度减少存储和计算开销。

实验结果

研究问题

• RQ1 稀疏 de Bruijn 图表示是否能显著降低从头基因组组装中的内存使用量，同时不牺牲准确性？
• RQ2 基于图的去噪方法在多大程度上可从高通量测序数据中去除替换错误？
• RQ3 新型图遍历算法是否能有效解决稀疏 de Bruijn 图中的多态性和残留错误？
• RQ4 在内存效率和组装质量方面，稀疏 de Bruijn 图与标准 de Bruijn 图方法相比表现如何？

主要发现

• 当 g=16 时，SparseAssembler 将内存使用量降低至标准 de Bruijn 图方法所需内存的约 10%，同时保持了相当的组装质量。
• 去噪算法在错误率 ≤2% 的数据集中成功去除了超过 99% 的替换错误，该效果在当前测序仪错误率 <1% 的背景下具有实际意义。
• 类似 Dijkstra 的广度优先搜索算法在稀疏图中实现了稳健的路径重建，有效解决了多态性和残留错误。
• 稀疏 de Bruijn 图结构将理论内存需求从 (2k+8)N 降低至约 (2k/g+8)N 位，其中 g=16 时实现了显著的内存节省。