[论文解读] Protein-DNA binding sites prediction based on pre-trained protein language model and contrastive learning

Yufan Liu, Boxue Tian|arXiv (Cornell University)|Jun 28, 2023

RNA and protein synthesis mechanisms被引用 5

一句话总结

该论文提出 CLAPE-DB，一种新颖的深度学习框架，通过将预训练的蛋白质语言模型与对比学习相结合，用于预测蛋白质-DNA 结合残基。通过利用蛋白质序列上的自监督表征学习和对比预训练，CLAPE-DB 在两个基准数据集上分别取得了 0.871 和 0.881 的 AUC 分数，其在 DNA 结合位点预测任务中的准确性和泛化能力优于现有方法。

ABSTRACT

Protein-DNA interaction is critical for life activities such as replication, transcription, and splicing. Identifying protein-DNA binding residues is essential for modeling their interaction and downstream studies. However, developing accurate and efficient computational methods for this task remains challenging. Improvements in this area have the potential to drive novel applications in biotechnology and drug design. In this study, we propose a novel approach called CLAPE, which combines a pre-trained protein language model and the contrastive learning method to predict DNA binding residues. We trained the CLAPE-DB model on the protein-DNA binding sites dataset and evaluated the model performance and generalization ability through various experiments. The results showed that the AUC values of the CLAPE-DB model on the two benchmark datasets reached 0.871 and 0.881, respectively, indicating superior performance compared to other existing models. CLAPE-DB showed better generalization ability and was specific to DNA-binding sites. In addition, we trained CLAPE on different protein-ligand binding sites datasets, demonstrating that CLAPE is a general framework for binding sites prediction. To facilitate the scientific community, the benchmark datasets and codes are freely available at https://github.com/YAndrewL/clape.

研究动机与目标

• 开发一种更准确且泛化能力更强的计算方法，用于预测蛋白质-DNA 结合残基。
• 解决蛋白质-DNA 相互作用中标签数据有限以及序列-结构关系复杂的问题。
• 利用自监督预训练和对比学习，增强结合位点预测的表征学习能力。
• 构建一个可泛化至 DNA 结合以外其他配体结合位点的通用框架。

提出的方法

• 该方法采用预训练的蛋白质语言模型（例如 ESM 或类似模型）将蛋白质序列编码为上下文相关的嵌入表征。
• 应用对比学习，通过对比正样本对和负样本对来学习判别性表征。
• 正样本对通过数据增强技术生成（例如随机掩码或噪声注入），而负样本对则由不同蛋白质序列构成。
• 模型在蛋白质-DNA 结合数据集上进行端到端微调，以预测结合残基。
• 采用对比损失函数，在训练过程中促使模型拉近正样本对并推远负样本对。
• 最终模型 CLAPE-DB 在基准数据集上使用标准指标（如 AUC 和 AUPRC）进行评估。

实验结果

研究问题

• RQ1 对比学习能否提升蛋白质序列在 DNA 结合残基预测任务中的表征学习能力？
• RQ2 CLAPE-DB 在标准基准数据集上的性能与现有最先进模型相比如何？
• RQ3 所提出的框架在 DNA 以外的其他类型配体结合位点上是否具有良好泛化能力？
• RQ4 在该场景下，将预训练的蛋白质语言模型与对比学习结合，其贡献是什么？
• RQ5 CLAPE-DB 对序列数据的变化和数据稀疏性具有多强的鲁棒性？

主要发现

• CLAPE-DB 在第一个基准数据集上取得了 0.871 的 AUC，表现出强劲的预测性能。
• 在第二个基准数据集上，CLAPE-DB 达到了 0.881 的 AUC，表明其具有高准确性和鲁棒性。
• 即使在标签数据有限的情况下，该模型也展现出优于现有方法的优越泛化能力。
• 该框架成功应用于预测蛋白质-配体结合位点，证实其在不同类型结合位点间的泛化能力。
• 将预训练语言模型与对比学习结合，显著提升了结合位点预测的表征学习效果。