[论文解读] Retrieval-Enhanced Mutation Mastery: Augmenting Zero-Shot Prediction of Protein Language Model

Yang Tan, Ruilin Wang+3 more|arXiv (Cornell University)|Oct 28, 2024

Topic Modeling被引用 4

一句话总结

该论文提出 ProtREM，一种通过解耦交叉注意力机制和同源序列检索来整合序列、局部结构及进化信息的检索增强型蛋白质语言模型，以提升零样本突变效应预测性能。该模型在 ProteinGym 的 217 项检测中对超过 200 万个突变体实现了最先进性能，并成功实现了对增强型 DNA 聚合酶和 VHH 抗体突变体的体外与湿实验验证。

ABSTRACT

Enzyme engineering enables the modification of wild-type proteins to meet industrial and research demands by enhancing catalytic activity, stability, binding affinities, and other properties. The emergence of deep learning methods for protein modeling has demonstrated superior results at lower costs compared to traditional approaches such as directed evolution and rational design. In mutation effect prediction, the key to pre-training deep learning models lies in accurately interpreting the complex relationships among protein sequence, structure, and function. This study introduces a retrieval-enhanced protein language model for comprehensive analysis of native properties from sequence and local structural interactions, as well as evolutionary properties from retrieved homologous sequences. The state-of-the-art performance of the proposed ProtREM is validated on over 2 million mutants across 217 assays from an open benchmark (ProteinGym). We also conducted post-hoc analyses of the model's ability to improve the stability and binding affinity of a VHH antibody. Additionally, we designed 10 new mutants on a DNA polymerase and conducted wet-lab experiments to evaluate their enhanced activity at higher temperatures. Both in silico and experimental evaluations confirmed that our method provides reliable predictions of mutation effects, offering an auxiliary tool for biologists aiming to evolve existing enzymes. The implementation is publicly available at https://github.com/tyang816/ProtREM.

研究动机与目标

• 填补现有蛋白质语言模型在联合整合序列、结构与进化信息以进行突变效应预测方面的空白。
• 提升在低通量实验设置下对单一位点与多位点蛋白质突变的零样本预测可靠性。
• 构建一个统一框架，利用检索到的同源序列增强进化表征，并减轻对预测 3D 结构不准确性的影响。
• 通过高通量基准评估与针对功能酶的靶向湿实验，验证模型的预测能力。
• 提供一个公开可用的工具，支持生物学家以最低实验成本设计功能更优的蛋白质变体。

提出的方法

• ProtREM 将蛋白质序列和局部 3D 结构特征编码为序列标记和结构标记，其中局部结构被聚类为 2048 种不同的结构标记。
• 解耦的多头交叉注意力层在 BERT 风格的预训练范式下整合序列与结构表征。
• 通过 Jackhmmer 检索同源序列，并利用基于对齐的标记化方法将其转换为进化 logit。
• 模型融合结构、序列与进化表征，为每个残基突变生成适应度分数。
• 预训练采用全长度蛋白质序列的掩码语言建模目标，联合优化序列、结构与进化信号。
• 模型在 ProteinGym 的高通量 DMS 数据上进行微调，并在基准数据集与低通量实验数据集上进行评估。

实验结果

研究问题

• RQ1 ProtREM 是否能在大规模 DMS 数据支持下，持续优于现有模型，在多种蛋白质与检测中预测突变效应？
• RQ2 ProtREM 在精确功能测量可用的低通量实验设置下，其泛化能力如何？
• RQ3 ProtREM 在真实世界酶工程应用中，指导设计功能更优突变体的能力有多大？
• RQ4 与仅依赖序列或结构的模型相比，整合检索到的同源序列是否显著提升预测可靠性？
• RQ5 ProtREM 是否能识别出经实验验证的、具有增强热稳定性的新型高性能突变体？

主要发现

• ProtREM 在 ProteinGym 基准测试中达到最先进性能，其斯皮尔曼等级相关系数 ρ 在 217 项检测与超过 200 万个突变体中均超过先前方法。
• 该模型在低通量实验数据上表现出更高的预测可靠性，成功识别出可提升稳定性和结合亲和力的有益 VHH 抗体突变。
• 对 phi29 DNA 聚合酶中 10 个设计突变体的湿实验验证证实其热稳定性增强，差示扫描荧光法测得的 Tm 值显著提高。
• 整合检索到的同源序列显著改善了进化表征，降低了对可能不准确的预测 3D 结构的依赖。
• 事后分析表明，ProtREM 有效识别出保守的不可突变区域，并优先选择功能相关的突变。
• 该实现已公开发布于 https://github.com/tyang816/ProtREM，支持可重现性与社区采用。