[论文解读] Single-Read Reconstruction for DNA Data Storage Using Transformers

Yotam Nahum, Eyar Ben-Tolila+1 more|arXiv (Cornell University)|Sep 12, 2021

DNA and Biological Computing参考文献 32被引用 4

一句话总结

本文提出了一种新颖的单次读取DNA数据存储重建方法，采用自监督编码器-解码器Transformer架构，通过合成噪声注入生成的无错误读取数据，学习数据文件的底层结构。该模型仅使用每条序列一次读取，即可实现低于最先进多读取方法的错误率，首次成功将深度学习应用于具有整体性、上下文感知能力的单次读取DNA重建。

ABSTRACT

As the global need for large-scale data storage is rising exponentially, existing storage technologies are approaching their theoretical and functional limits in terms of density and energy consumption, making DNA based storage a potential solution for the future of data storage. Several studies introduced DNA based storage systems with high information density (petabytes/gram). However, DNA synthesis and sequencing technologies yield erroneous outputs. Algorithmic approaches for correcting these errors depend on reading multiple copies of each sequence and result in excessive reading costs. The unprecedented success of Transformers as a deep learning architecture for language modeling has led to its repurposing for solving a variety of tasks across various domains. In this work, we propose a novel approach for single-read reconstruction using an encoder-decoder Transformer architecture for DNA based data storage. We address the error correction process as a self-supervised sequence-to-sequence task and use synthetic noise injection to train the model using only the decoded reads. Our approach exploits the inherent redundancy of each decoded file to learn its underlying structure. To demonstrate our proposed approach, we encode text, image and code-script files to DNA, produce errors with high-fidelity error simulator, and reconstruct the original files from the noisy reads. Our model achieves lower error rates when reconstructing the original data from a single read of each DNA strand compared to state-of-the-art algorithms using 2-3 copies. This is the first demonstration of using deep learning models for single-read reconstruction in DNA based storage which allows for the reduction of the overall cost of the process. We show that this approach is applicable for various domains and can be generalized to new domains as well.

研究动机与目标

• 为解决DNA数据存储中多读取重建的高成本与低效率问题，即需要多个副本以纠正错误。
• 实现仅从一次有噪声的读取中可靠重建原始DNA存储的数据，降低测序开销与成本。
• 开发一种上下文感知、整体性的重建模型，利用解码文件的结构冗余性，而非依赖于错误模式的学习。
• 证明该方法在多种数据类型（包括文本、图像和代码）中的泛化能力。
• 建立一种自监督训练范式，避免依赖稀缺的标注数据集或外部错误模型。

提出的方法

• 该方法采用在合成噪声注入下进行自监督训练的编码器-解码器Transformer架构，假设读取数据为无错误。
• 在解码后的读取数据中注入与测序信道预期错误率相匹配的噪声，模拟真实世界错误，而无需在训练期间使用实际的有噪声数据。
• 模型将序列重建视为序列到序列的任务，学习从单次有噪声读取中预测原始文件结构。
• 通过利用错误模型（如DIS信道）和文件的结构约束（如有效码字和序列长度）生成无错误读取。
• 训练数据由有噪声读取及其对应的无错误版本配对组成，使模型能够学习底层数据结构。
• 通过在训练期间利用每类文件类型的固有冗余性和结构，将该方法推广至各类数据类型。

实验结果

研究问题

• RQ1 深度学习模型能否仅从一次有噪声读取中重建原始DNA存储数据，且优于多读取重建方法？
• RQ2 使用合成噪声注入的自监督学习能否在无标注错误数据的情况下实现有效重建？
• RQ3 建模整个文件的整体结构是否能提升重建准确率，相比逐序列的错误纠正？
• RQ4 该模型在文本、图像和代码等多样化数据类型上的表现如何？
• RQ5 该模型能否泛化至高于训练期间使用的噪声水平？

主要发现

• 所提出的基于Transformer的模型在仅使用一次读取的情况下，重建原始数据的错误率低于使用两到三次读取的最先进算法。
• 该模型仅通过自监督学习与合成噪声注入，即可成功从单次读取中重建文本、图像和代码文件。
• 该模型在高于训练阶段所用噪声水平的场景下仍表现出良好泛化能力，证明其对分布偏移具有鲁棒性。
• 该方法是首个在DNA数据存储中实现有效单次读取重建的方法，可降低测序覆盖度与整体成本。
• 在文本和代码文件中，由于有效码字集合较小，模型表现更优；而在图像文件中，由于码字集合较大，正确与错误读取之间的可区分性降低，导致性能下降。
• 整体性、上下文感知的设计优于独立的序列级方法，尤其在低覆盖度场景下表现更佳。