[论文解读] ProtTrans: Towards Cracking the Language of Life's Code Through Self-Supervised Deep Learning and High Performance Computing

Ahmed Elnaggar, Michael Heinzinger+10 more|arXiv (Cornell University)|Jul 13, 2020

Machine Learning in Bioinformatics被引用 210

一句话总结

该论文在使用 HPC 对海量序列数据训练若干自监督蛋白质语言模型，产生的嵌入在没有进化信息的情况下实现了state-of-the-art的预测，并发布了模型。

ABSTRACT

Computational biology and bioinformatics provide vast data gold-mines from protein sequences, ideal for Language Models taken from NLP. These LMs reach for new prediction frontiers at low inference costs. Here, we trained two auto-regressive models (Transformer-XL, XLNet) and four auto-encoder models (BERT, Albert, Electra, T5) on data from UniRef and BFD containing up to 393 billion amino acids. The LMs were trained on the Summit supercomputer using 5616 GPUs and TPU Pod up-to 1024 cores. Dimensionality reduction revealed that the raw protein LM-embeddings from unlabeled data captured some biophysical features of protein sequences. We validated the advantage of using the embeddings as exclusive input for several subsequent tasks. The first was a per-residue prediction of protein secondary structure (3-state accuracy Q3=81%-87%); the second were per-protein predictions of protein sub-cellular localization (ten-state accuracy: Q10=81%) and membrane vs. water-soluble (2-state accuracy Q2=91%). For the per-residue predictions the transfer of the most informative embeddings (ProtT5) for the first time outperformed the state-of-the-art without using evolutionary information thereby bypassing expensive database searches. Taken together, the results implied that protein LMs learned some of the grammar of the language of life. To facilitate future work, we released our models at https://github.com/agemagician/ProtTrans.

研究动机与目标

• 在未标记的蛋白质序列中，使用语言模型学习生物物理语言规则以获得动机。
• 在大规模 UniRef 与 BFD 数据上训练自回归和自编码模型。
• 表明蛋白质 LM 嵌入在没有进化数据库的情况下提升下游的每残基和每蛋白质级别预测。

提出的方法

• 在多达 393 billion 氨基酸上训练两种自回归模型（Transformer-XL、XLNet）和四种自编码模型（BERT、Albert、Electra、T5）。
• 使用 Summit 超级计算机，配备 5616 张 GPU 和 TPU Pod 高达 1024 核心进行训练。
• 从未标记数据中导出嵌入，并通过降维评估它们的生物物理信息量。
• 将嵌入评估为下游任务的唯一输入，且无需昂贵的数据库检索。

实验结果

研究问题

• RQ1 在蛋白质序列上训练的大型自监督语言模型，是否能够从未标记数据中学习生物物理结构？
• RQ2 蛋白质 LM 嵌入是否在没有进化信息的情况下提升逐残基和逐蛋白预测任务？
• RQ3 不同架构（自回归与自编码器）在学习有用的蛋白质表示方面的比较如何？
• RQ4 得到的嵌入是否可迁移到如二级结构、亚细胞定位以及膜蛋白与可溶性分类等任务？

主要发现

• 蛋白质 LM 嵌入通过降维显示出蛋白质序列的生物物理特征。
• 嵌入使逐残基二级结构预测达到 Q3 介于 81% 与 87% 之间。
• 嵌入使逐蛋白质定位预测达到 Q10 为 81%，膜蛋白与可溶性分类的准确度 Q2 为 91%。
• 在逐残基任务中，最佳嵌入（ProtT5）在不使用进化信息的情况下超越了现有的最先进方法。
• 结果表明这些模型从未标记数据中学习了生命语言的某些方面，并减少了对数据库检索的依赖。