[论文解读] xTrimoABFold: De novo Antibody Structure Prediction without MSA

Yining Wang, Xumeng Gong+8 more|arXiv (Cornell University)|Nov 30, 2022

Monoclonal and Polyclonal Antibodies Research被引用 5

一句话总结

xTrimoABFold 提出了一种新颖的、端到端的深度学习模型，用于从头预测抗体结构。该模型通过利用预训练的抗体语言模型（ALM）和高效的 evoformer/结构模块，绕过了多序列比对（MSA）。其在 RMSD 上相比 AlphaFold2 和其他 SOTA 模型实现了 30% 以上的提升，同时推理速度提升了 151 倍。

ABSTRACT

In the field of antibody engineering, an essential task is to design a novel antibody whose paratopes bind to a specific antigen with correct epitopes. Understanding antibody structure and its paratope can facilitate a mechanistic understanding of its function. Therefore, antibody structure prediction from its sequence alone has always been a highly valuable problem for de novo antibody design. AlphaFold2, a breakthrough in the field of structural biology, provides a solution to predict protein structure based on protein sequences and computationally expensive coevolutionary multiple sequence alignments (MSAs). However, the computational efficiency and undesirable prediction accuracy of antibodies, especially on the complementarity-determining regions (CDRs) of antibodies limit their applications in the industrially high-throughput drug design. To learn an informative representation of antibodies, we employed a deep antibody language model (ALM) on curated sequences from the observed antibody space database via a transformer model. We also developed a novel model named xTrimoABFold to predict antibody structure from antibody sequence based on the pretrained ALM as well as efficient evoformers and structural modules. The model was trained end-to-end on the antibody structures in PDB by minimizing the ensemble loss of domain-specific focal loss on CDR and the frame-aligned point loss. xTrimoABFold outperforms AlphaFold2 and other protein language model based SOTAs, e.g., OmegaFold, HelixFold-Single, and IgFold with a large significant margin (30+\% improvement on RMSD) while performing 151 times faster than AlphaFold2. To the best of our knowledge, xTrimoABFold achieved state-of-the-art antibody structure prediction. Its improvement in both accuracy and efficiency makes it a valuable tool for de novo antibody design and could make further improvements in immuno-theory.

研究动机与目标

• 解决药物发现中对高通量、高精度从头抗体结构预测的迫切需求。
• 克服 AlphaFold2 等依赖 MSA 的模型在预测抗体结构时，尤其在 CDR 区域的局限性。
• 开发一种无需依赖计算成本高昂的 MSA 生成过程即可实现高精度的预测方法。
• 提升对 CDR 环——抗体-抗原结合的关键功能区域——的预测性能，而现有模型在该区域表现不佳。

提出的方法

• 在观测抗体组（OAS）数据库上对专用于抗体的预训练语言模型（AntiBERTy）进行预训练，以捕捉领域特定的序列表征。
• 将预训练的 ALM 与 evoformer 和结构模块结合，实现从单条序列端到端预测 3D 结构。
• 设计一种基于序列和结构相似性的跨模态模板搜索算法，以检索高质量的结构模板。
• 采用混合损失函数进行模型优化：在 CDR 区域使用领域特定的焦点损失，在全结构上使用对齐点损失。
• 采用两阶段训练流程：先在 OAS 上预训练 ALM，然后在 PDB 注释的抗体结构上微调完整模型。
• 通过数据增强和基于置信度的掩码策略进行集成训练，以提升泛化能力并减少方差。

实验结果

研究问题

• RQ1 专用抗体语言模型是否能在无需 MSA 的情况下，优于通用蛋白质语言模型在抗体结构预测中的表现？
• RQ2 在 CDR 区域引入焦点损失是否能显著提升对具有挑战性的环结构的预测精度？
• RQ3 基于序列和结构的高效跨模态模板搜索是否能提升结构预测的准确性和收敛速度？
• RQ4 所提出的方法在抗体结构预测中，相较于依赖 MSA 的模型（如 AlphaFold2），在精度和推理速度方面有多大的超越？

主要发现

• xTrimoABFold 在局部比对下的 CDR3-RMSD 为 0.7439 ± 0.0003，在全局比对下为 2.5934 ± 0.0211，相比 AlphaFold2 和其他 SOTA 模型在 RMSD 上实现了 30% 以上的提升。
• 该模型在保持更优精度的同时，推理速度比 AlphaFold2 快 151 倍，适用于高通量药物设计。
• 使用专用抗体语言模型（AntiBERTy）替代通用 PLM（如 ESM-2）带来了显著的性能提升，证实了领域特定预训练的价值。
• 针对 CDR 的焦点损失降低了预测方差，并提升了 CDR 环的预测精度，在消融实验中 RMSD 最高降低了 0.2–0.3 Å。
• 通过跨模态搜索整合模板进一步提升了性能，平均使 RMSD 降低约 0.15 Å，尤其在 CDR 区域效果显著。
• xTrimoABFold 是首个在无需依赖 MSA 的前提下实现 SOTA 抗体结构预测性能的模型，树立了精度与效率的新基准。