[论文解读] PEER: A Comprehensive and Multi-Task Benchmark for Protein Sequence Understanding

Minghao Xu, Zuobai Zhang+6 more|arXiv (Cornell University)|Jun 5, 2022

Machine Learning in Bioinformatics被引用 59

一句话总结

PEER 提出一个涵盖功能、定位、结构、PPI 和 PLI 的 14 项蛋白质理解任务的综合基准，并评估单任务与多任务学习，基线包括经预训练的蛋白质语言模型。

ABSTRACT

We are now witnessing significant progress of deep learning methods in a variety of tasks (or datasets) of proteins. However, there is a lack of a standard benchmark to evaluate the performance of different methods, which hinders the progress of deep learning in this field. In this paper, we propose such a benchmark called PEER, a comprehensive and multi-task benchmark for Protein sEquence undERstanding. PEER provides a set of diverse protein understanding tasks including protein function prediction, protein localization prediction, protein structure prediction, protein-protein interaction prediction, and protein-ligand interaction prediction. We evaluate different types of sequence-based methods for each task including traditional feature engineering approaches, different sequence encoding methods as well as large-scale pre-trained protein language models. In addition, we also investigate the performance of these methods under the multi-task learning setting. Experimental results show that large-scale pre-trained protein language models achieve the best performance for most individual tasks, and jointly training multiple tasks further boosts the performance. The datasets and source codes of this benchmark are all available at https://github.com/DeepGraphLearning/PEER_Benchmark

研究动机与目标

• 激发对蛋白质序列理解的标准化、全面基准的需求，以加速深度学习方法的发展。
• 提供一个覆盖多样蛋白质理解任务并具有现实划分的多任务基准（PEER），以评估泛化能力。
• 在单任务和多任务设置下，评估从特征工程到预训练蛋白质语言模型的多种基线。

提出的方法

• 将 14 项任务分为五组：功能、定位、结构、PPI 和 PLI。
• 将蛋白质表示为序列；将配体在 PLI 任务中表示为分子图。
• 评估基线模型，包括特征工程方法（DDE、Moran）、序列编码器（LSTM、Transformer、CNN、ResNet）和预训练模型（ProtBert、ESM-1b）。
• 探索三种模型流水线：带 MLP 预测器的任务特定编码器、用于 PPI 的孪生编码器，以及用于配体的蛋白质–配体编码器（对配体使用 GIN）。
• 研究带硬参数共享的单任务学习与多任务学习，以及中心任务/辅助任务的设置。
• 提供用于测试泛化能力和分布外鲁棒性的训练、验证和测试划分。

实验结果

研究问题

• RQ1 各种基于序列的编码器和预训练蛋白质语言模型在每个 PEER 任务上的表现如何？
• RQ2 在多样的蛋白质任务上，多任务学习设置是否能相对于单任务基线提升性能？
• RQ3 在多任务设置中，哪些任务族最能从共享表示和知识迁移中受益？
• RQ4 不同数据划分（例如处理高阶突变体、远程同源）如何影响泛化？
• RQ5 在跨任务中微调预训练模型与冻结它们相比的相对收益是多少？

主要发现

• 预训练的蛋白质语言模型（ESM-1b、ProtBert）在大多数任务上实现了最高性能，尤其是在微调时。
• 带有共享编码器的多任务训练相较于单任务基线，可以进一步提升中心任务的性能。
• 统计特征（DDE）在某些任务上可以与学习型编码器竞争，凸显序列表达中的互补信号。
• 在若干任务上从零开始训练时，浅层 CNN 可以优于更深的模型。
• PPI 和 PLI 任务对数据划分高度敏感，需要仔细去除冗余以评估泛化。