[论文解读] On Pre-trained Language Models for Antibody

Danqing Wang, Fei Ye+1 more|arXiv (Cornell University)|Jan 28, 2023

RNA and protein synthesis mechanisms被引用 4

一句话总结

本文提出了ATUE，这是首个针对抗体任务在不同特异性水平下评估预训练语言模型的综合性基准。该研究提出EATLM模型，通过抗体会特异性进化目标（包括祖先胚系预测和突变位点预测）进行微调，相较于通用模型和现有抗体检出模型，性能显著提升，尤其在高特异性任务和真实世界SARS-CoV-2抗体发现任务中表现突出。

ABSTRACT

Antibodies are vital proteins offering robust protection for the human body from pathogens. The development of general protein and antibody-specific pre-trained language models both facilitate antibody prediction tasks. However, there have been limited studies that comprehensively explore the representation capability of distinct pre-trained language models on different antibody tasks. To investigate the problem, we aim to answer several key questions in this paper, such as how pre-trained language models perform in antibody tasks with different specificity and how introducing specific biological mechanisms to the pre-training process can benefit the model. Additionally, we evaluate if the learned antibody pre-trained representations can be applied to real-world antibody problems, like drug discovery and immune process understanding. Previously, no benchmark available largely hindered the study to answer these questions. To aid in our investigation, we provide an AnTibody Understanding Evaluation (ATUE) benchmark. We comprehensively evaluate the performance of protein pre-trained language models by empirical study along with conclusions and new insights. Our ATUE and code are released at https://github.com/dqwang122/EATLM.

研究动机与目标

• 为解决预训练语言模型在抗体特异性任务上缺乏标准化评估基准的问题。
• 探究预训练模型在不同生物特异性水平的抗体任务中的表现。
• 探索在预训练过程中引入抗体特异性进化机制是否能提升表征学习效果。
• 评估预训练抗体表征在真实世界应用（如药物发现和免疫系统理解）中的实际效用。
• 基于实证评估与消融研究，为设计更优抗体表征模型提供可操作的指导建议。

提出的方法

• 提出ATUE基准，包含四个真实世界监督任务：抗体互补决定区（paratope）预测、B细胞受体分类、个体水平疾病诊断和患者水平疾病分类。
• 设计两种新型预训练目标：祖先胚系预测（AGP），用于建模进化谱系；突变位点预测（MPP），用于模拟体细胞超突变。
• 使用掩码语言建模方法，结合AGP与MPP目标对EATLM进行微调，以增强抗体特异性表征学习。
• 在所有ATUE任务中，将EATLM与通用蛋白模型（ESM、MSA-1b）、抗体检出特异性模型（AntiBERT）以及非预训练基线模型进行对比。
• 通过移除AGP与MPP组件进行消融研究，评估其单独及联合贡献。
• 在真实世界SARS-CoV-2抗体发现任务中验证模型性能，以评估其实际适用性。

实验结果

研究问题

• RQ1 预训练语言模型在不同生物特异性水平的抗体任务中表现如何？
• RQ2 将抗体特异性进化机制（如胚系祖先关系与体细胞超突变）整合到预训练中，是否能改善模型的表征学习？
• RQ3 预训练模型学习到的表征是否能泛化到真实世界应用，如治疗性抗体发现与免疫过程理解？
• RQ4 预训练目标中的哪些组件（AGP、MPP）对高特异性任务性能提升贡献最大？
• RQ5 在需要深入理解抗体序列功能的任务中，通用蛋白模型与抗体特异性模型相比表现如何？

主要发现

• 通用蛋白语言模型（如ESM）在低特异性任务中表现良好，但在高特异性抗体任务中性能显著下降。
• AntiBERT在高特异性任务中并未始终优于非预训练模型，表明现有抗体检出预训练策略存在局限性。
• EATLM同时采用AGP与MPP目标，在所有ATUE任务中均达到最先进性能，患者水平诊断任务的AUC分别为：SARS 0.988，HIV 0.990，埃博拉 1.000。
• 消融研究显示，移除MPP对性能影响最大，尤其在SLE与MS任务中，AUC分别降至0.827与0.827。
• 即使不使用AGP，EATLM仍表现强劲，表明MPP在捕捉抗体功能特征方面比AGP更为关键。
• 在SARS-CoV-2抗体发现任务中，EATLM优于所有基线模型，证明其在真实世界治疗性开发中的实际效用。