[论文解读] ProteinBench: A Holistic Evaluation of Protein Foundation Models

Fei Ye, Zaixiang Zheng+8 more|arXiv (Cornell University)|Sep 10, 2024

Biomedical Text Mining and OntologiesBiochemistry, Genetics and Molecular Biology被引用 3

一句话总结

ProteinBench 提出了一套统一的、整体性的蛋白质基础模型评估框架，按模态关系对任务进行分类，并使用标准化指标在质量、新颖性、多样性及鲁棒性方面评估模型性能。该基准揭示了模型在蛋白质设计与构象动力学方面的重要优势与局限，已公开发布代码、数据集与排行榜，以实现未来评估的标准化。

ABSTRACT

Recent years have witnessed a surge in the development of protein foundation models, significantly improving performance in protein prediction and generative tasks ranging from 3D structure prediction and protein design to conformational dynamics. However, the capabilities and limitations associated with these models remain poorly understood due to the absence of a unified evaluation framework. To fill this gap, we introduce ProteinBench, a holistic evaluation framework designed to enhance the transparency of protein foundation models. Our approach consists of three key components: (i) A taxonomic classification of tasks that broadly encompass the main challenges in the protein domain, based on the relationships between different protein modalities; (ii) A multi-metric evaluation approach that assesses performance across four key dimensions: quality, novelty, diversity, and robustness; and (iii) In-depth analyses from various user objectives, providing a holistic view of model performance. Our comprehensive evaluation of protein foundation models reveals several key findings that shed light on their current capabilities and limitations. To promote transparency and facilitate further research, we release the evaluation dataset, code, and a public leaderboard publicly for further analysis and a general modular toolkit. We intend for ProteinBench to be a living benchmark for establishing a standardized, in-depth evaluation framework for protein foundation models, driving their development and application while fostering collaboration within the field.

研究动机与目标

• 为解决蛋白质基础模型缺乏统一评估框架的问题，该问题阻碍了性能评估的公平比较与透明性。
• 基于序列、结构与功能模态之间的关系，系统性地对蛋白质建模任务进行分类。
• 开发一种多指标评估协议，从质量、新颖性、多样性和鲁棒性四个关键维度评估模型输出。
• 提供基于用户目标的深入分析，揭示模型在多样化生物学领域中的能力与局限。
• 发布一个公开的、模块化的工具包，包含数据集、代码与排行榜，以支持可复现、标准化的基准测试，并促进该领域的协作。

提出的方法

• 根据模态关系，将蛋白质建模任务分类为四大类：结构设计、序列设计、结构-序列联合设计与抗体设计。
• 采用多指标评估框架，从四个维度评估性能：质量（通过 pLDDT、pTM、CA-clash、CA-break、PepBond-break）、新颖性（与训练数据的序列一致性）、多样性（序列与结构变异）以及鲁棒性（对输入扰动的敏感性）。
• 使用涵盖多个生物学领域的精选多样化数据集，包括 BPTI、apo-holo 与 ATLAS，以确保模型评估的全面性。
• 在标准化推理流程与超参数设置下，实现 11 种最先进的蛋白质基础模型，包括 AlphaFold2、ESMFold、RoseTTAFold2、EigenFold、Str2Str、AlphaFlow/ESMFlow 与 ConfDiff。
• 应用结构验证指标，如 CA-clash %、CA-break % 与 PepBond-break %，以评估预测结构的几何合理性与稳定性。
• 采用集成推理与置信度评分（如 pLDDT、ELBO）以选择最优预测结果，确保评估的鲁棒性。

实验结果

研究问题

• RQ1 蛋白质基础模型在不同类型生成任务（包括结构设计、序列设计与构象动力学）中的表现如何？
• RQ2 模型输出的新颖性、多样性与结构质量在多大程度上体现？这些指标在不同模型架构间如何变化？
• RQ3 蛋白质基础模型对输入扰动（如 MSA 子采样或序列修改）的鲁棒性如何？
• RQ4 哪些关键的架构与数据相关因素影响模型在四个评估维度上的表现？
• RQ5 多模态模型与单模态模型在捕捉复杂序列-结构-功能关系方面表现如何比较？

主要发现

• 蛋白质基础模型在 3D 结构预测方面表现优异，AlphaFold2 与 ESMFold 在 pLDDT 与 pTM 分数上均表现良好，但在构象动力学任务中存在显著差异。
• 如 Str2Str 与 AlphaFlow/ESMFlow 等模型在构象采样方面表现更优，其 CA-clash 与 PepBond-break 率低于传统模型。
• 部分模型生成的序列中存在相当比例（某些情况下高达 30%）与训练数据的序列一致性较低，表明其具有较高新颖性，但此现象并不总与结构质量正相关。
• 多样性指标显示，ConfDiff 与 Str2Str 等模型能生成更多结构上迥异的构象，表明其对构象景观的探索能力更强。
• 鲁棒性分析表明，MSA 子采样会显著降低 OpenFold 与 AlphaFold2 等模型的性能，凸显其对输入数据质量的敏感性。
• 该基准识别出当前评估中的关键缺口，特别是在构象动力学与抗体设计领域，此前尚无标准化评估指标，而本研究填补了这一空白。