[论文解读] Multimodal Pre-Training Model for Sequence-based Prediction of Protein-Protein Interaction

Yang Xue, Zijing Liu+2 more|arXiv (Cornell University)|Dec 9, 2021

Computational Drug Discovery Methods被引用 4

一句话总结

该论文提出S2F，一种多模态预训练模型，通过联合学习蛋白质序列、3D结构（通过重原子点云和拓扑复形表示）以及功能描述，以提升蛋白质-蛋白质相互作用（PPI）预测性能。通过整合传统接触图之外的结构柔性和功能上下文，S2F在多种PPI任务中实现最先进性能，包括跨物种PPI、抗体-抗原亲和力预测、SARS-CoV-2中和作用预测，以及由突变驱动的结合变化预测。

ABSTRACT

Protein-protein interactions (PPIs) are essentials for many biological processes where two or more proteins physically bind together to achieve their functions. Modeling PPIs is useful for many biomedical applications, such as vaccine design, antibody therapeutics, and peptide drug discovery. Pre-training a protein model to learn effective representation is critical for PPIs. Most pre-training models for PPIs are sequence-based, which naively adopt the language models used in natural language processing to amino acid sequences. More advanced works utilize the structure-aware pre-training technique, taking advantage of the contact maps of known protein structures. However, neither sequences nor contact maps can fully characterize structures and functions of the proteins, which are closely related to the PPI problem. Inspired by this insight, we propose a multimodal protein pre-training model with three modalities: sequence, structure, and function (S2F). Notably, instead of using contact maps to learn the amino acid-level rigid structures, we encode the structure feature with the topology complex of point clouds of heavy atoms. It allows our model to learn structural information about not only the backbones but also the side chains. Moreover, our model incorporates the knowledge from the functional description of proteins extracted from literature or manual annotations. Our experiments show that the S2F learns protein embeddings that achieve good performances on a variety of PPIs tasks, including cross-species PPI, antibody-antigen affinity prediction, antibody neutralization prediction for SARS-CoV-2, and mutation-driven binding affinity change prediction.

研究动机与目标

• 解决仅基于序列或基于接触图的蛋白质表征在捕捉PPI预测所需完整结构与功能上下文方面的局限性。
• 通过联合建模序列、3D结构拓扑（通过重原子点云表示）和功能注释，提升PPI预测性能。
• 开发一种预训练框架，使其在多种PPI任务中具备泛化能力，包括跨物种相互作用、抗体-抗原结合以及突变效应。
• 为下游生物医学应用（如疫苗设计和药物发现）提供更优的迁移学习能力。

提出的方法

• S2F模型采用三种模态：氨基酸序列、来自重原子点云（C、N、O）的3D结构表示，以及来自文献或注释的功能描述。
• 通过点云的拓扑复形进行拓扑数据分析（TDA），提取结构特征，捕捉主链与侧链的柔性特性。
• 模型采用掩码预训练策略，对来自序列、结构和功能模态的输入标记进行掩码并重建。
• 架构结合模态特定编码器与跨注意力机制，实现在不同模态间的联合表征学习。
• 在大规模蛋白质数据集上进行预训练，随后在下游PPI任务上使用共享的下游网络进行微调。
• 通过标准指标（RMSE、Rp、AUROC、AUPR、F1、精确率和召回率）在多个基准上进行评估。

实验结果

研究问题

• RQ1 将重原子点云的结构拓扑整合进来，是否能超越接触图，在PPI预测中提升蛋白质表征性能？
• RQ2 将来自文本的功能描述纳入模型，是否能增强模型对PPI预测的能力，尤其是在涉及内在无序蛋白的情况下？
• RQ3 在多种PPI任务中，S2F多模态模型相较于仅基于序列或结构感知的预训练基线模型表现如何？
• RQ4 S2F模型是否能在具有挑战性的任务中实现泛化，如跨物种PPI和由突变驱动的结合亲和力变化？

主要发现

• 在SAbDab抗体-抗原亲和力预测任务中，S2F达到RMSE为0.272，Rp为0.526，优于所有基线模型，包括PIPR+ProtTrans和PIPR+ProSE。
• 在SARS-CoV-2抗体中和作用预测中，S2F达到AUROC为0.693，F1得分为0.797，AUPR为0.836，显著优于PIPR+ELMo和PIPR+TAPE。
• 在S645突变驱动的亲和力变化任务中，采用同源性与结构划分的交叉验证，S2F达到RMSE为1.866，Rp为0.318，表现出稳健的泛化能力。
• 在M1535多点突变数据集上，S2F达到RMSE为3.199，Rp为0.264，在相同具有挑战性的评估协议下优于所有对比模型。
• 消融实验表明，三种模态——序列、结构和功能——均对最终性能有显著贡献，其中结构和功能模态相较于仅基于序列的模型提供了关键性能提升。