[论文解读] Peptide-GPT: Generative Design of Peptides using Generative Pre-trained Transformers and Bio-informatic Supervision

Aayush Shah, Chakradhar Guntuboina+1 more|arXiv (Cornell University)|Oct 25, 2024

Machine Learning in Bioinformatics被引用 4

一句话总结

Peptide-GPT 通过生物信息学过滤和深度学习分类器，利用微调的 ProtGPT2 模型实现了具有特定生物学性质（溶血性、非溶血性、抗污损性和溶解性）的肽从头生成。其在溶血性预测中达到 76.26% 的准确率，非溶血性为 72.46%，抗污损性为 78.84%，溶解性为 68.06%，表明基于自然语言处理的蛋白质设计在结构与功能验证方面具有显著有效性。

ABSTRACT

In recent years, natural language processing (NLP) models have demonstrated remarkable capabilities in various domains beyond traditional text generation. In this work, we introduce PeptideGPT, a protein language model tailored to generate protein sequences with distinct properties: hemolytic activity, solubility, and non-fouling characteristics. To facilitate a rigorous evaluation of these generated sequences, we established a comprehensive evaluation pipeline consisting of ideas from bioinformatics to retain valid proteins with ordered structures. First, we rank the generated sequences based on their perplexity scores, then we filter out those lying outside the permissible convex hull of proteins. Finally, we predict the structure using ESMFold and select the proteins with pLDDT values greater than 70 to ensure ordered structure. The properties of generated sequences are evaluated using task-specific classifiers - PeptideBERT and HAPPENN. We achieved an accuracy of 76.26% in hemolytic, 72.46% in non-hemolytic, 78.84% in non-fouling, and 68.06% in solubility protein generation. Our experimental results demonstrate the effectiveness of PeptideGPT in de novo protein design and underscore the potential of leveraging NLP-based approaches for paving the way for future innovations and breakthroughs in synthetic biology and bioinformatics. Codes, models, and data used in this study are freely available at: https://github.com/aayush-shah14/PeptideGPT.

研究动机与目标

• 开发一种生成式 AI 模型，用于设计具有特定功能特性的肽，如溶血活性、溶解性和抗污损行为。
• 整合生物信息学验证步骤——困惑度排序、凸包过滤和基于 pLDDT 的结构预测，以确保生成序列的结构可行性。
• 使用任务特定分类器（PeptideBERT 和 HAPPENN）评估生成肽的功能准确性。
• 实现对已知蛋白质空间边缘区域的探索，特别是针对抗污损蛋白的新型肽序列发现。
• 为可重复性及合成生物学与生物工程领域的未来发展，提供模型、代码和数据的开源访问。

提出的方法

• 在四个经实验验证的肽数据集上微调 ProtGPT2：溶血性、非溶血性、抗污损性和可溶性蛋白。
• 通过困惑度评分对生成序列按可能性和连贯性进行排序。
• 使用已知有效蛋白序列的凸包对序列进行过滤，以排除非生物或不稳定的序列。
• 使用 ESMFold 预测三维结构，并仅保留 pLDDT > 70 的序列，以确保有序且稳定的折叠。
• 使用 PeptideBERT 和 HAPPENN 分类最终序列，以评估其功能特性并获得任务特定准确率。
• 通过采样参数（最大长度、top-k、重复惩罚）在五个随机种子下，每个性质生成 5,000 条序列。

实验结果

研究问题

• RQ1 微调的生成式预训练变换器模型能否有效生成具有目标功能特性的新型肽序列，如溶血活性或溶解性？
• RQ2 生物信息学过滤（困惑度、凸包、pLDDT）的整合在确保生成肽的结构有效性与生物学合理性方面有多高效？
• RQ3 生成的肽在潜在空间中与已知功能蛋白的分布有多接近，特别是抗污损序列？
• RQ4 该模型能否生成位于已知蛋白质空间边缘的肽，从而实现对新型功能基序的发现？
• RQ5 当使用 PeptideBERT 和 HAPPENN 等专用分类器评估时，生成肽的功能准确率如何？

主要发现

• Peptide-GPT 在识别溶血性肽方面达到 76.26% 的准确率，表明其在生成具有靶向裂解活性的序列方面表现优异。
• 该模型在生成非溶血性肽方面达到 72.46% 的准确率，表明其能有效抑制溶血特性。
• 抗污损肽生成的准确率最高，达到 78.84%，表明模型对抵抗非特异性结合的表面特性有良好捕捉能力。
• 可溶性肽生成的准确率为 68.06%，反映出模型在生成具有良好溶解性特征序列方面的能力。
• 非溶血性任务的结构稳定性最高，44.46% 的有效序列 pLDDT > 70，表明其折叠结构具有高度可信度。
• t-SNE 可视化显示，生成的抗污损肽序列位于已知蛋白质空间的边界，表明其探索了新颖且具有功能性的区域。