[论文解读] ProtSolM: Protein Solubility Prediction with Multi-modal Features

Yang Tan, Zheng Jia+2 more|arXiv (Cornell University)|Jun 28, 2024

Protein purification and stability被引用 5

一句话总结

ProtSolM 是一个深度学习框架，整合蛋白质序列、结构和理化性质，在大型多模态数据上进行预训练，并在 PDBSol 数据集上微调以预测蛋白质溶解性，达到最先进的性能。

ABSTRACT

Understanding protein solubility is essential for their functional applications. Computational methods for predicting protein solubility are crucial for reducing experimental costs and enhancing the efficiency and success rates of protein engineering. Existing methods either construct a supervised learning scheme on small-scale datasets with manually processed physicochemical properties, or blindly apply pre-trained protein language models to extract amino acid interaction information. The scale and quality of available training datasets leave significant room for improvement in terms of accuracy and generalization. To address these research gaps, we propose \sol, a novel deep learning method that combines pre-training and fine-tuning schemes for protein solubility prediction. ProtSolM integrates information from multiple dimensions, including physicochemical properties, amino acid sequences, and protein backbone structures. Our model is trained using \data, the largest solubility dataset that we have constructed. PDBSol includes over $60,000$ protein sequences and structures. We provide a comprehensive leaderboard of existing statistical learning and deep learning methods on independent datasets with computational and experimental labels. ProtSolM achieved state-of-the-art performance across various evaluation metrics, demonstrating its potential to significantly advance the accuracy of protein solubility prediction.

研究动机与目标

• 为了帮助蛋白质工程并降低实验成本，强调准确的蛋白质溶解性预测需求。
• 引入 ProtSolM，一种结合序列、结构和理化特征的多模态深度学习模型。
• 创建并利用 PDBSol，一个用于训练和评估的大规模溶解性数据集。
• 在独立数据集上展示与现有方法相比的最先进性能。

提出的方法

• 两模块架构：一个 AA 级编码模块，使用自监督学习进行预训练，以通过 ESM2 和旋转-平移等变 GNN 捕获序列与结构嵌入。
• 微调模块，将 AA 级表示与蛋白质级手工提取的理化特征相结合，使用注意力池化和带 pLDDT 惩罚项的加权残差连接。
• 蛋白质级表示通过对 AA 嵌入进行注意力池化得到，并与 42 个手工特征拼接，输入到全连接读取层以进行二元溶解性预测。
• 预训练任务：用多项式噪声对 AA 类型进行去噪，以学习具有结构感知的进化嵌入。
• 微调数据：PDBSol，迄今为止最大的溶解性数据集（超过 60k 蛋白质，含序列、结构和标签）。
• 模型变体包括带不同骨干配置（k10/k20/k30 与隐藏维度 h512）的 ProtSolM。

实验结果

研究问题

• RQ1 将序列、结构和理化性质整合是否能在蛋白质溶解性预测方面优于仅序列或仅结构的模型？
• RQ2 在大型多模态蛋白质数据上进行预训练是否能提升对独立溶解性基准的泛化能力？
• RQ3 各组成部分（pLDDT 惩罚、注意力池化、手工特征）对预测性能的贡献分别是多少？
• RQ4 与现有的监督模型和对预训练语言模型进行微调的结果相比，ProtSolM 在标准与外部溶解性基准上的表现如何？

主要发现

• ProtSolM 在标准和外部溶解性基准上实现了多项指标的最先进性能。
• ProtSolM 的变体（k10/k20/k30，h512）在准确率、精确度、召回率、AUC 和 MCC 等指标上显著优于基线模型。
• ProtSolM 在外部测试数据集上保持强劲表现，尽管增益低于标准测试集。
• 消融研究显示，注意力池化和 pLDDT 惩罚，以及蛋白质级手工特征对性能有显著贡献；移除任一部分都会降低结果。
• t-SNE 可视化显示 ProtSolM 学习表示中可溶与不可溶样本的可分性，支持判别嵌入。
• ProtSolM 在标准测试集上优于传统监督模型与对预训练语言模型进行微调的方法。