[论文解读] To Transformers and Beyond: Large Language Models for the Genome

Micaela Elisa Consens, C Dufault+7 more|arXiv (Cornell University)|Nov 13, 2023

Genomics and Phylogenetic Studies被引用 31

一句话总结

本综述调查了基于 transformer 的 LLMs 及相关架构在基因组建模中的应用，详细介绍架构、预训练、微调，以及基因组学中的未来方向。

ABSTRACT

In the rapidly evolving landscape of genomics, deep learning has emerged as a useful tool for tackling complex computational challenges. This review focuses on the transformative role of Large Language Models (LLMs), which are mostly based on the transformer architecture, in genomics. Building on the foundation of traditional convolutional neural networks and recurrent neural networks, we explore both the strengths and limitations of transformers and other LLMs for genomics. Additionally, we contemplate the future of genomic modeling beyond the transformer architecture based on current trends in research. The paper aims to serve as a guide for computational biologists and computer scientists interested in LLMs for genomic data. We hope the paper can also serve as an educational introduction and discussion for biologists to a fundamental shift in how we will be analyzing genomic data in the future.

研究动机与目标

• 调查 transformer 架构和 LLMs 在基因组学中的作用与影响，对比基于 transformer 的方法与传统的 CNN/RNN 模型。
• 解释关键架构组件（注意力、多头注意力、add-and-norm、跳跃连接）以及它们如何针对基因组数据进行改编。
• 讨论预训练和微调方案，包括 MLM 和 ALM，以及它们对数据效率和任务绩效的影响。
• 突出当前的局限性、新兴架构（例如 Hyena、HyenaDNA），以及 transformer 范式之外的未来方向。

提出的方法

• 解释 transformer 的基础原理及其在基因组学中的应用，包括标记化策略（例如序列的 k-mers，对于非序列数据的基因 ID）。
• 回顾基因组学中使用的 transformer 变体（encoder-decoder、encoder-only、decoder-only）及它们的典型预训练目标（MLM、ALM）。
• 描述将 CNN 类组件与 transformer 块结合起来以预测基因组测定的 transformer-hybrid 模型。
• 介绍为解决上下文长度和效率挑战而提出的替代架构（例如 HyenaDNA）。
• 总结训练管道：无监督/有监督/半监督预训练，随后进行特定任务的微调。

实验结果

研究问题

• RQ1 基于 transformer 的 LLMs 在基因组数据建模中的优点和局限性是什么？
• RQ2 不同的 transformer 变体（encoder-only、decoder-only、encoder-decoder）在基因组任务（如调控注释、表达量预测和测定数据建模）中的表现有何差异？
• RQ3 哪些预训练与微调策略在基因组学中能实现最佳泛化与数据效率？
• RQ4 哪些非 transformer 或下一代架构（如 Hyena、HyenaDNA）在长距离基因组上下文与可扩展性方面具有优势？

主要发现

• Transformer 通过注意力实现对基因组中长距离相互作用的建模，通常通过预训练来利用大量未标注数据来增强。
• Encoder-only（BERT 类）模型在基于嵌入的分类任务中表现出色，而 decoder-only（GPT 类）模型则适用于序列生成和单向任务；两者在基因组学中都显示出领域特定的适应性。
• 预训练（特别是无监督 MLM 或 ALM）随后进行任务特定微调仍然是基因组学中数据效率的核心范式。
• Hyena 和 HyenaDNA 代表了传统注意力在长上下文基因组数据上的可扩展替代方案，解决了上下文长度和效率问题。
• Transformer-hybrid 设计将卷积组件与注意力集成，可从基因组输入预测测定级别的结果（定量或二元）。
• Encoder-decoder 架构可以预测输入和不同长度输出之间的映射（例如 DNA 序列到 3D 接触图），相对于纯 CNN 编码器可能提供更大的灵活性。