[论文解读] PeptideBERT: A Language Model based on Transformers for Peptide Property Prediction

Chakradhar Guntuboina, Adrita Das+3 more|arXiv (Cornell University)|Aug 28, 2023

Machine Learning in BioinformaticsBiochemistry, Genetics and Molecular Biology被引用 3

一句话总结

PeptideBERT 是基于 ProtBERT 微调的基于 Transformer 的语言模型，仅使用氨基酸序列即可预测关键肽类性质——溶血性、抗污染性和溶解性。它在溶血性预测任务中达到最先进性能（准确率 83.01%），在抗污染性和溶解性任务中也表现出色，证明了在无结构数据条件下，利用蛋白质序列进行预训练可有效提升肽类性质建模效果。

ABSTRACT

Recent advances in Language Models have enabled the protein modeling community with a powerful tool since protein sequences can be represented as text. Specifically, by taking advantage of Transformers, sequence-to-property prediction will be amenable without the need for explicit structural data. In this work, inspired by recent progress in Large Language Models (LLMs), we introduce PeptideBERT, a protein language model for predicting three key properties of peptides (hemolysis, solubility, and non-fouling). The PeptideBert utilizes the ProtBERT pretrained transformer model with 12 attention heads and 12 hidden layers. We then finetuned the pretrained model for the three downstream tasks. Our model has achieved state of the art (SOTA) for predicting Hemolysis, which is a task for determining peptide's potential to induce red blood cell lysis. Our PeptideBert non-fouling model also achieved remarkable accuracy in predicting peptide's capacity to resist non-specific interactions. This model, trained predominantly on shorter sequences, benefits from the dataset where negative examples are largely associated with insoluble peptides. Codes, models, and data used in this study are freely available at: https://github.com/ChakradharG/PeptideBERT

研究动机与目标

• 开发一种仅依赖序列的肽类性质预测模型，避免对结构数据的依赖。
• 利用类似 ProtBERT 的预训练蛋白质语言模型，用于下游肽类性质预测任务。
• 通过自监督预训练，提升对溶血性、抗污染性和溶解性等关键治疗性质的预测准确率。
• 证明从大规模蛋白质序列进行迁移学习，可实现对较短、功能关键的肽类序列的稳健泛化。

提出的方法

• 在三个肽类性质预测任务上对 ProtBERT（12 层，12 个注意力头，480 个隐藏单元）进行微调。
• 采用共享编码器架构，为溶血性、抗污染性和溶解性分类任务分别设计任务特定的输出头层。
• 通过在 15%、20% 和 30% 掩码概率下进行随机掩码实现数据增强，以评估鲁棒性与性能之间的权衡。
• 采用学习率为 1.0×10⁻⁵、批量大小为 32、dropout 率为 0.15，并使用耐心值为 4、衰减因子为 0.1 的学习率调度器。
• 通过消融实验研究模型深度与注意力头数量的影响，评估架构选择对性能的影响。
• 采用交叉熵损失函数，结合早停策略与学习率调度，实现端到端的稳定收敛训练。

实验结果

研究问题

• RQ1 像 ProtBERT 这样的预训练蛋白质语言模型是否能通过仅使用氨基酸序列，有效微调用于肽类性质预测？
• RQ2 PeptideBERT 在预测溶血活性、抗污染性和溶解性方面与现有最先进模型相比表现如何？
• RQ3 通过随机掩码实现的数据增强对溶解性预测任务的模型泛化能力与性能有何影响？
• RQ4 模型架构选择（如深度与注意力头数量）对不同肽类性质预测任务的预测准确率有何影响？
• RQ5 在大规模蛋白质序列上进行自监督预训练，能在多大程度上迁移到较短、功能关键的肽类序列上？

主要发现

• PeptideBERT 在溶血性预测任务中达到最先进性能，准确率达 83.010%，采用 12 层、12 个注意力头的架构。
• 在 15% 掩码概率下，溶解性预测准确率达 68.784%，且随着掩码率升高而下降。
• 抗污染性模型表现出高准确率，表明其在短序列（2–20 个残基）上仅依赖极少结构输入即可实现优异性能。
• 消融实验表明，当模型深度与注意力头数量超过某一临界点后，性能提升趋于平缓，48 层模型仅达到 78.865% 准确率。
• 训练时间因任务而异，溶解性任务耗时最长（116.42 分钟），其次为溶血性（69.28 分钟），抗污染性最短（58.28 分钟）。
• 最优学习率确定为 1.0×10⁻⁵，可在所有任务中实现收敛速度与过拟合抑制之间的最佳平衡。