[论文解读] Protein Design with Guided Discrete Diffusion

Nate Gruver, Samuel C. Stanton+7 more|arXiv (Cornell University)|May 31, 2023

Gene Regulatory Network Analysis被引用 18

一句话总结

本文提出 diffusioNOS，一种用于序列空间离散扩散的梯度引导采样方法，并将其与 LaMBO-2 结合，用于多目标抗体设计，在探索性体外实验中实现高表达和结合。

ABSTRACT

A popular approach to protein design is to combine a generative model with a discriminative model for conditional sampling. The generative model samples plausible sequences while the discriminative model guides a search for sequences with high fitness. Given its broad success in conditional sampling, classifier-guided diffusion modeling is a promising foundation for protein design, leading many to develop guided diffusion models for structure with inverse folding to recover sequences. In this work, we propose diffusioN Optimized Sampling (NOS), a guidance method for discrete diffusion models that follows gradients in the hidden states of the denoising network. NOS makes it possible to perform design directly in sequence space, circumventing significant limitations of structure-based methods, including scarce data and challenging inverse design. Moreover, we use NOS to generalize LaMBO, a Bayesian optimization procedure for sequence design that facilitates multiple objectives and edit-based constraints. The resulting method, LaMBO-2, enables discrete diffusions and stronger performance with limited edits through a novel application of saliency maps. We apply LaMBO-2 to a real-world protein design task, optimizing antibodies for higher expression yield and binding affinity to several therapeutic targets under locality and developability constraints, attaining a 99% expression rate and 40% binding rate in exploratory in vitro experiments.

研究动机与目标

• 在离散序列空间中促进高效蛋白质设计，而不依赖逆折叠。
• 开发一种梯度引导的离散扩散采样方法（NOS）以优化序列级目标。
• 结合 NOS 和显著性驱动的编辑，提升 LaMBO-2，并进行多目标抗体设计。
• 在现实约束下，展示抗体表达与结合的实际改进。

提出的方法

• 提出 NOS（diffusioN Optimized Sampling）通过在去噪网络隐藏层状态中应用梯度来引导离散扩散。
• 将 NOS 公式化为两种变体：NOS-C（连续潜在空间引导）和 NOS-D（离散转移引导）。
• 将 NOS 与 Langevin 动力学结合，以从修改后的转移分布进行采样，同时保留序列似然性。
• 通过替换 MLM 采样器并使用显著性图来选择用于多目标优化的编辑位置，将 NOS 集成到 LaMBO-2 中。
• 使用部分深度集合来估计后验目标，并采用采集函数进行多目标优化。
• 执行基于显著性的编辑位置选择，将编辑聚焦在有影响的序列位点。

实验结果

研究问题

• RQ1 NOS 是否能够改善在蛋白质设计中受引导的离散扩散里，序列似然性与目标值之间的权衡？
• RQ2 基于显著性驱动的编辑位置选择是否提高抗体设计的贝叶斯优化的效率和性能？
• RQ3 在考虑表达产量、结合等多目标约束的真实世界抗体先导优化中，LaMBO-2 在 in silico 和 in vitro 的表现如何？

主要发现

• 在无引导和引导填充任务的 in silico 中，NOS 优于若干最先进的结构-和序列基础基线。
• 将 NOS 与显著性引导的编辑相结合的 LaMBO-2，在有限编辑和多目标优化下实现更强的性能。
• 在抗体设计任务中，LaMBO-2 产生更高的获得值样本，同时在保持自然性约束方面优于基因工程基线。
• 使用 LaMBO-2 的抗体先导优化在 in vitro 的多轮迭代后，在四个靶点中获得了多个亚微摩尔级结合的候选体。
• 探索性体外实验报告优化抗体的表达率为 99%，结合率为 40%。