[论文解读] ProtST: Multi-Modality Learning of Protein Sequences and Biomedical Texts

Minghao Xu, Xinyu Yuan+2 more|arXiv (Cornell University)|Jan 28, 2023

Machine Learning in Bioinformatics被引用 30

一句话总结

ProtST 引入 ProtDescribe，这是一个成对的蛋白质序列-文本数据集，以及一个多模态预训练框架，将蛋白质序列与生物医学文本对齐，以提升蛋白质表征并实现零样本预测和文本到蛋白质检索。

ABSTRACT

Current protein language models (PLMs) learn protein representations mainly based on their sequences, thereby well capturing co-evolutionary information, but they are unable to explicitly acquire protein functions, which is the end goal of protein representation learning. Fortunately, for many proteins, their textual property descriptions are available, where their various functions are also described. Motivated by this fact, we first build the ProtDescribe dataset to augment protein sequences with text descriptions of their functions and other important properties. Based on this dataset, we propose the ProtST framework to enhance Protein Sequence pre-training and understanding by biomedical Texts. During pre-training, we design three types of tasks, i.e., unimodal mask prediction, multimodal representation alignment and multimodal mask prediction, to enhance a PLM with protein property information with different granularities and, at the same time, preserve the PLM's original representation power. On downstream tasks, ProtST enables both supervised learning and zero-shot prediction. We verify the superiority of ProtST-induced PLMs over previous ones on diverse representation learning benchmarks. Under the zero-shot setting, we show the effectiveness of ProtST on zero-shot protein classification, and ProtST also enables functional protein retrieval from a large-scale database without any function annotation.

研究动机与目标

• 用生物医学文本中描述的蛋白质属性文本信息来增强蛋白质序列表征。
• 创建 ProtDescribe，将序列与丰富的属性描述配对。
• 开发多模态预训练任务，在注入属性信息的同时保留序列建模能力。
• 使下游有监督学习以及零样本蛋白质分类和检索成为可能。

提出的方法

• 使用单模态掩码预测来保留来自蛋白质序列的共进化信号。
• 应用多模态表示对齐，使用序列表示和文本表示之间的对比 InfoNCE 损失。
• 引入多模态掩码预测，通过一个融合模块恢复被掩码的残基和词语，该模块建模残基与文本记号之间的相互依赖。
• 用一个冻结的生物医学语言模型（PubMedBERT）和一个融合模块，对语言模型（ProtBert/ESM 变体）进行预训练。
• 对表示进行对齐，以支持使用标签描述的零样本分类和零样本文本到蛋白质检索。

实验结果

研究问题

• RQ1 文本化的蛋白质属性描述是否能够超越仅序列的语言模型来提升蛋白质序列表示？
• RQ2 多模态对齐和跨模态掩码在多大程度上提升下游的蛋白定位、适应性和功能预测？
• RQ3 由 ProtST 产生的模型是否能够在没有功能注释的情况下，使用标签描述实现有效的零样本蛋白分类和零样本检索？
• RQ4 基于 Swiss-Prot 的 ProtDescribe 数据质量如何影响表征学习和泛化能力？

主要发现

• 由 ProtST 产生的 PLMs 在定位、适应性和功能注释基准上始终优于普通 PLMs。
• ProtST-ESM-2 在评估设置中实现最高的定位性能并在功能注释指标上具有竞争力。
• 零样本 ProtST 分类器在定位和反应分类任务上达到或超过某些少样本有监督基线。
• 零样本文本到蛋白质检索展示了无需功能注释即可从 GO 提示中识别功能蛋白的能力。
• 将零样本和有监督模型进行集成可以在下游任务上进一步提升性能。