[论文解读] Reprogramming Pretrained Language Models for Protein Sequence Representation Learning

Ria Vinod, Pin‐Yu Chen+1 more|arXiv (Cornell University)|Jan 5, 2023

Machine Learning in Bioinformatics被引用 4

一句话总结

该论文提出R2DL框架，通过在英语词汇嵌入与蛋白质序列嵌入之间学习稀疏线性映射，实现对预训练英语语言模型的重编程，以进行蛋白质序列表征学习。R2DL在多种蛋白质性质与功能预测任务中实现了最先进性能，相较于标准监督学习与预训练基线模型，数据效率最高提升10⁵倍。

ABSTRACT

Machine Learning-guided solutions for protein learning tasks have made significant headway in recent years. However, success in scientific discovery tasks is limited by the accessibility of well-defined and labeled in-domain data. To tackle the low-data constraint, recent adaptions of deep learning models pretrained on millions of protein sequences have shown promise; however, the construction of such domain-specific large-scale model is computationally expensive. Here, we propose Representation Learning via Dictionary Learning (R2DL), an end-to-end representation learning framework in which we reprogram deep models for alternate-domain tasks that can perform well on protein property prediction with significantly fewer training samples. R2DL reprograms a pretrained English language model to learn the embeddings of protein sequences, by learning a sparse linear mapping between English and protein sequence vocabulary embeddings. Our model can attain better accuracy and significantly improve the data efficiency by up to $10^5$ times over the baselines set by pretrained and standard supervised methods. To this end, we reprogram an off-the-shelf pre-trained English language transformer and benchmark it on a set of protein physicochemical prediction tasks (secondary structure, stability, homology, stability) as well as on a biomedically relevant set of protein function prediction tasks (antimicrobial, toxicity, antibody affinity).

研究动机与目标

• 为解决蛋白质机器学习中标签数据有限的挑战，实现数据高效的表征学习。
• 开发一种轻量级替代方案，以替代计算成本高昂、领域特定的大型蛋白质语言模型预训练方法。
• 通过重新利用高容量、现成的英语语言模型，探索跨领域迁移学习在蛋白质序列中的应用。
• 在不从零开始训练模型的前提下，提升蛋白质表征学习的数据效率。
• 在极小标签数据条件下，实现高性能的蛋白质性质与功能预测。

提出的方法

• R2DL通过学习其标记嵌入与蛋白质序列嵌入之间的稀疏线性变换，对预训练英语Transformer模型进行重编程。
• 该方法采用基于k-SVD的字典学习，以从英语语言模型嵌入学习到蛋白质序列嵌入的稀疏映射。
• 通过引入L₀范数的正则化目标函数，强制学习到的变换矩阵保持稀疏性，以提升泛化能力与数据效率。
• 该框架在蛋白质序列上端到端训练，使用学习到的映射关系，且不微调原始语言模型。
• 该模型利用英语语言模型预训练的语言归纳偏差，捕捉蛋白质序列中具有生物学意义的表征。
• 该方法在多个蛋白质任务上进行了评估，包括二级结构、稳定性、溶解度、同源性及功能预测（抗菌、毒性、抗体亲和力）等。

Figure 1 : Left: Descriptions of considered predictive tasks. We select the set of physicochemical property prediction tasks from the well-studied domains in [ 6 ] , and the biomedical function prediction tasks from works with biomedically relevant small-szied labeled datasets [ 3 ; 14 ] . Center: W

实验结果

研究问题

• RQ1 未经微调的预训练英语语言模型能否被有效重编程，以学习有意义的蛋白质序列表征？
• RQ2 从自然语言到蛋白质序列的跨领域迁移学习，在多大程度上能提升蛋白质机器学习任务的数据效率？
• RQ3 在低数据环境下，R2DL的性能与标准监督训练及领域特定预训练方法相比如何？
• RQ4 在蛋白质语言模型嵌入与蛋白质序列之间采用稀疏线性映射，能否在多样化的生物任务中取得具有竞争力的结果？
• RQ5 通过重编程基础模型，在蛋白质表征学习中可实现的数据效率上限是多少？

主要发现

• R2DL在所有评估的蛋白质预测任务中均达到最先进性能，包括二级结构、稳定性、溶解度、同源性、抗菌活性、毒性及抗体亲和力预测。
• 与标准监督学习和预训练基线相比，该模型的数据效率最高提升10⁵倍，可在极小标签数据下实现高精度。
• 在抗菌活性预测任务中，R2DL仅使用6,489个训练样本即达到88%准确率，性能与预训练Transformer相当，但数据需求显著更低。
• 在毒性预测任务中，R2DL仅用8,153个标签样本即达到93.78%准确率，在低数据设置下优于标准监督方法。
• 在同源性分类任务中，R2DL使用10,438个训练样本达到26%的Top-1准确率，性能与LSTM基线相当，但框架效率更高。
• 该框架在多种生物任务中展现出广泛适应性，包括理化性质预测与具有临床意义的功能预测，且在数据效率方面持续取得提升。

Figure 2 : System illustration of the Representation Reprogramming via Dictionary Learning (R2DL) framework. In Step 1, R2DL loads a pretrained language model (source), obtains the source vocabulary embeddings, and specifies the protein tokens (target). In Step 2, R2DL learns a sparse linear mapping