[论文解读] PepDoRA: A Unified Peptide Language Model via Weight-Decomposed Low-Rank Adaptation

Leyao Wang, Rishab Pulugurta+4 more|arXiv (Cornell University)|Oct 28, 2024

Machine Learning in Bioinformatics被引用 4

一句话总结

PepDoRA 是一种统一的肽语言模型，通过使用权重分解低秩微调（DoRA）方法对 ChemBERTa-77M-MLM 进行微调，在包含 100,000 种多样化且经实验验证的肽序列上进行训练，能够准确预测包括膜渗透性、溶血性、抗污染倾向性以及靶向特异性结合在内的多种治疗性质，其性能优于通用模型和肽特异性基线模型。

ABSTRACT

Peptide therapeutics, including macrocycles, peptide inhibitors, and bioactive linear peptides, play a crucial role in therapeutic development due to their unique physicochemical properties. However, predicting these properties remains challenging. While structure-based models primarily focus on local interactions, language models are capable of capturing global therapeutic properties of both modified and linear peptides. Protein language models like ESM-2, though effective for natural peptides, cannot however encode chemical modifications. Conversely, pre-trained chemical language models excel in representing small molecule properties but are not optimized for peptides. To bridge this gap, we introduce PepDoRA, a unified peptide representation model. Leveraging Weight-Decomposed Low-Rank Adaptation (DoRA), PepDoRA efficiently fine-tunes the ChemBERTa-77M-MLM on a masked language model objective to generate optimized embeddings for downstream property prediction tasks involving both modified and unmodified peptides. By tuning on a diverse and experimentally valid set of 100,000 modified, bioactive, and binding peptides, we show that PepDoRA embeddings capture functional properties of input peptides, enabling the accurate prediction of membrane permeability, non-fouling and hemolysis propensity, and via contrastive learning, target protein-specific binding. Overall, by providing a unified representation for chemically and biologically diverse peptides, PepDoRA serves as a versatile tool for function and activity prediction, facilitating the development of peptide therapeutics across a broad spectrum of applications.

研究动机与目标

• 填补现有模型在有效表征天然肽与修饰肽（尤其是具有复杂修饰如环化或非天然氨基酸）方面的空白。
• 克服蛋白质语言模型（如 ESM-2）和化学语言模型（如 ChemBERTa）在捕捉生物活性肽的功能与物理化学性质方面的局限性。
• 开发一种统一的表征框架，结合预训练化学语言模型（cLM）的强健化学知识与高效的微调方法，以适应肽特异性任务。
• 在无需结构数据的情况下，实现对关键治疗性质（如膜渗透性、溶血性、抗污染性）的准确预测。
• 通过联合肽-蛋白质嵌入学习，促进针对构象多态性或难以成药蛋白的肽类药物设计。

提出的方法

• 使用权重分解低秩微调（DoRA）方法对预训练的 ChemBERTa-77M-MLM 模型进行微调，这是一种将权重更新分解为低秩矩阵的参数高效微调方法。
• 在包含 100,000 个肽的多样化且经实验验证的数据集上进行训练，涵盖修饰肽与生物活性线性肽，采用掩码语言建模目标。
• 利用 DoRA 保留 ChemBERTa 的预训练化学知识，同时将其适配至肽特异性功能性质。
• 采用受 CLIP 启发的对比学习架构，学习联合肽-蛋白质嵌入，通过最大化真实结合对之间的余弦相似度。
• 将生成的肽嵌入作为下游回归与分类任务的输入特征，包括膜渗透性、溶血性与抗污染性预测。
• 与全量微调、LoRA、PeptideCLM 和 PeptideBERT 等基线模型进行比较，以验证 DoRA 微调策略的有效性。

实验结果

研究问题

• RQ1 基于 DoRA 的微调是否能有效将化学语言模型（ChemBERTa）适配至捕捉多样化肽（包括修饰肽与生物活性序列）的功能与物理化学性质？
• RQ2 PepDoRA 在预测膜渗透性与溶血性等关键治疗性质方面，相较于 PeptideBERT 与 PeptideCLM 等专用肽模型表现如何？
• RQ3 PepDoRA 嵌入在多大程度上可实现对靶向特异性肽-蛋白质结合的准确预测，特别是在具有挑战性或无序的靶标上？
• RQ4 PepDoRA 学习到的统一表征是否能在无需独立模型架构的情况下，泛化至天然肽与修饰肽？
• RQ5 基于 PepDoRA 嵌入的对比学习框架是否能在零样本或少样本设置下有效区分真实结合与非结合的肽-蛋白质对？

主要发现

• 在抗污染性分类任务中，PepDoRA 达到 87% 的准确率、70% 的 F1 分数与 71% 的召回率，优于 PeptideBERT（87% 准确率、69% F1、67% 召回率）。
• 在溶血性预测任务中，PepDoRA 实现 80% 准确率与 37% F1 分数，略优于 PeptideBERT（81% 准确率、35% F1），且显著提升召回率（27% vs. 25%）。
• 在肽-蛋白质相互作用预测中，PepDoRA 达到 95.9% 的二分类准确率、62.1% 的 Top-1 准确率与 86.1% 的 Top 10% 准确率，全面超越所有基线模型，包括 LoRA 微调的 ChemBERTa（95.1%、60.0%、84.9%）。
• PepDoRA 通过对比学习实现的靶向特异性结合预测表现出强大的泛化能力，尤其在难以成药或构象灵活的靶标上表现突出。
• 该模型基于 DoRA 的微调策略在保留 ChemBERTa 化学知识的同时，实现了对肽特异性任务的高保真度适配，避免了全量微调的高昂成本。
• PepDoRA 在肽-蛋白质相互作用任务中优于专用的 PeptideCLM-23M 模型（93.9% 二分类准确率、47.3% Top-1 准确率），表明其在各类肽上的更广泛应用潜力。