[论文解读] SPIDER-WEB generates coding algorithms with superior error tolerance and real-time information retrieval capacity

Haoling Zhang, Zhaojun Lan+5 more|arXiv (Cornell University)|Apr 6, 2022

DNA and Biological Computing被引用 5

一句话总结

SPIDER-WEB 是一种基于图的架构，可自动生成集成纠错功能的定制化DNA编码算法，仅使用5.5%的冗余符号即可实现对高达4%编辑错误（替换和插入/缺失）的鲁棒性，并支持实时信息检索。其检索速度相比单分子测序技术提升305.08倍，且可高效扩展至艾字节级数据存储。

ABSTRACT

DNA has been considered a promising medium for storing digital information. As an essential step in the DNA-based data storage workflow, coding algorithms are responsible to implement functions including bit-to-base transcoding, error correction, etc. In previous studies, these functions are normally realized by introducing multiple algorithms. Here, we report a graph-based architecture, named SPIDER-WEB, providing an all-in-one coding solution by generating customized algorithms automatically. SPIDERWEB is able to correct a maximum of 4% edit errors in the DNA sequences including substitution and insertion/deletion (indel), with only 5.5% redundant symbols. Since no DNA sequence pretreatment is required for the correcting and decoding processes, SPIDER-WEB offers the function of real-time information retrieval, which is 305.08 times faster than the speed of single-molecule sequencing techniques. Our retrieval process can improve 2 orders of magnitude faster compared to the conventional one under megabyte-level data and can be scalable to fit exabyte-level data. Therefore, SPIDER-WEB holds the potential to improve the practicability in large-scale data storage applications.

研究动机与目标

• 解决现有DNA编码算法需分离纠错与预处理步骤的局限性。
• 开发一种统一的自动化编码方案，将比特到碱基的转换与纠错功能整合于单一框架中。
• 实现实时信息检索，无需对DNA序列进行预处理，从而克服大规模数据存储中的瓶颈。
• 在最小化逻辑冗余的前提下，实现高达4%的错误容忍度。
• 使检索过程可扩展至艾字节级数据，并实现数量级的性能提升。

提出的方法

• SPIDER-WEB 构建一个定制化的有向图，将约束条件（如GC含量、重复限制等）编码为节点与边的限制。
• 通过图中有效状态转移路径的遍历生成编码算法，编码与解码通过顶点转移完成。
• 通过路径检查机制实现纠错，可在错误条件下识别有效DNA序列，避免穷举搜索。
• 结合局部反向搜索与路径验证，降低计算复杂度并提升效率。
• 通过直接将编码数据映射到图状态，实现无需序列比对或预处理的实时检索。
• 该架构具备可扩展性，能够高效处理艾字节级数据，且性能与数据规模无关。

实验结果

研究问题

• RQ1 能否设计一种统一的编码框架，将DNA存储中的比特到碱基转换与纠错功能集成？
• RQ2 如何在支持替换与插入/缺失错误的同时，以最小的逻辑冗余实现纠错？
• RQ3 能否在无需DNA序列预处理或比对的情况下实现实时信息检索？
• RQ4 在实际冗余约束下，基于图的方法可实现的最大错误容忍度是多少？
• RQ5 SPIDER-WEB的检索速度与传统方法相比如何，尤其是在大规模场景下？

主要发现

• SPIDER-WEB 仅使用5.5%的冗余符号即可纠正高达4%的编辑错误（包括替换和插入/缺失），显著低于以往方法的冗余水平。
• 系统支持实时信息检索，相比单分子测序技术实现305.08倍的速度提升。
• 在兆字节规模下，检索速度比传统方法快100倍，且性能可扩展至艾字节级数据。
• 在5%错误率下检测率超过90%，但当错误率超过5.0%时纠错失败，原因在于解空间爆炸。
• 在4%错误率下，SPIDER-WEB的局部搜索仅需约405次顶点访问，而全局搜索需超过300,000次，证明了路径检查策略的高效性。
• 使用随机有向图进行容量近似时，中位相对误差仅为2.97×10⁻¹¹，表明建模具有极高精度。