[论文解读] The Protein Engineering Tournament: An Open Science Benchmark for Protein Modeling and Design

Chase Armer, Hassan Kané+8 more|arXiv (Cornell University)|Sep 18, 2023

Transgenic Plants and ApplicationsBiochemistry, Genetics and Molecular Biology被引用 3

一句话总结

蛋白质工程竞赛是一项每两年举办一次的开放科学竞赛，通过两轮评估计算蛋白质设计：第一轮为基于计算机的蛋白质性质预测，第二轮为利用云实验平台对设计序列进行体外实验验证。该竞赛提供开放数据集、标准化的自动化流程以及透明的平台，以加速计算蛋白质工程的发展。

ABSTRACT

The grand challenge of protein engineering is the development of computational models that can characterize and generate protein sequences for any arbitrary function. However, progress today is limited by lack of 1) benchmarks with which to compare computational techniques, 2) large datasets of protein function, and 3) democratized access to experimental protein characterization. Here, we introduce the Protein Engineering Tournament, a fully-remote, biennial competition for the development and benchmarking of computational methods in protein engineering. The tournament consists of two rounds: a first in silico round, where participants use computational models to predict biophysical properties for a set of protein sequences, and a second in vitro round, where participants are challenged to design new protein sequences, which are experimentally measured with open-source, automated methods to determine a winner. At the Tournament's conclusion, the experimental protocols and all collected data will be open-sourced for continued benchmarking and advancement of computational models. We hope the Protein Engineering Tournament will provide a transparent platform with which to evaluate progress in this field and mobilize the scientific community to conquer the grand challenge of computational protein engineering.

研究动机与目标

• 解决计算蛋白质工程模型评估缺乏标准化基准的问题。
• 克服现有数据集的局限性，这些数据集往往过于简单、难以复现或无法获取。
• 通过利用云实验平台实现高通量、可复现的实验表征，使更多人能够平等地获取蛋白质表征资源。
• 打造一个由社区驱动的平台，通过竞赛与协作加速蛋白质工程领域的创新。
• 通过开源所有实验流程、数据集和结果，促进透明度与可复现性，确保在每届竞赛结束后仍能持续进行模型评估。

提出的方法

• 组织每两年一次、全程远程的竞赛，包含两个连续阶段：计算机模拟阶段与体外实验阶段。
• 在计算机模拟阶段，利用计算模型预测蛋白质序列的生物物理性质，每届赛事可提供可选的训练数据。
• 利用云实验平台对设计的蛋白质序列进行高通量、自动化且可复现的体外表征。
• 基于目标蛋白质性质，采用针对每届赛事特制的加权指标评估体外性能。
• 竞赛结束后开源所有实验流程、数据集和结果，以支持持续的基准测试与模型验证。
• 通过由Align to Innovate协调的志愿者团队，整合社区意见，涵盖目标选择、数据科学、宣传推广和实验方法开发。

Figure 1: Overview of the Tournament. (A) The tournament impacts the space by providing a transparent benchmark for computational methods, open datasets for the research community, and automated protocols for continued independent benchmarking. (B) The Tournament is designed to accelerate creation o

实验结果

研究问题

• RQ1 标准化的、由社区驱动的基准是否能够提升计算蛋白质工程模型的评估与开发？
• RQ2 在多样化的、真实世界挑战下，不同计算方法在预测蛋白质生物物理性质方面的表现如何？
• RQ3 基于云的自动化技术在多大程度上能够实现可扩展、可复现且可访问的蛋白质设计实验验证？
• RQ4 开源实验流程和数据集是否足以在竞赛周期结束后长期维持模型的基准测试？
• RQ5 竞赛形式如何动员多样化参与者——包括学术界、产业界和独立研究人员——共同应对具有高影响力的蛋白质工程挑战？

主要发现

• 2023年5月启动的首届试点竞赛聚焦于酶设计，吸引了来自学术界、产业界和独立研究机构的30多支团队参与，参与者涵盖从高中生到诺贝尔奖得主的广泛群体。
• 计算机模拟阶段成功将计算预测结果与真实实验数据对比，实现了对多种建模方法性能的比较。
• 试点阶段的体外实验在内部完成，使用了企业合作伙伴的基础设施，验证了高通量蛋白质表征的可行性。
• 面向未来赛事的云实验平台检测方法正在开发中，标志着向标准化、自动化实验工作流程迈进的可扩展路径。
• 竞赛期间生成的所有实验流程和数据集将被开源，使更广泛的科学界能够持续进行基准测试与模型验证。
• 该竞赛框架成功实现了计算建模与实验验证的整合，为蛋白质工程创建了一个动态、持续演进的基准。

Figure 2: Overview of Tournament Rounds. The tournament consists of two rounds. (A) In the in silico round participants will predict properties of given protein sequences, with optional training data provided for specific events. Performance is evaluated by comparing the participant’s predictions wi