[论文解读] Protein structure generation via folding diffusion

Kevin Wu, Kevin Yang+4 more|arXiv (Cornell University)|Sep 30, 2022

Protein Structure and Dynamics被引用 34

一句话总结

FoldingDiff 是一个基于扩散的模型，通过对每个残基的六个内部角进行去噪来生成蛋白质骨架结构，避免使用笛卡尔坐标和等变网络，生成现实且可设计的骨架。

ABSTRACT

The ability to computationally generate novel yet physically foldable protein structures could lead to new biological discoveries and new treatments targeting yet incurable diseases. Despite recent advances in protein structure prediction, directly generating diverse, novel protein structures from neural networks remains difficult. In this work, we present a new diffusion-based generative model that designs protein backbone structures via a procedure that mirrors the native folding process. We describe protein backbone structure as a series of consecutive angles capturing the relative orientation of the constituent amino acid residues, and generate new structures by denoising from a random, unfolded state towards a stable folded structure. Not only does this mirror how proteins biologically twist into energetically favorable conformations, the inherent shift and rotational invariance of this representation crucially alleviates the need for complex equivariant networks. We train a denoising diffusion probabilistic model with a simple transformer backbone and demonstrate that our resulting model unconditionally generates highly realistic protein structures with complexity and structural patterns akin to those of naturally-occurring proteins. As a useful resource, we release the first open-source codebase and trained models for protein structure diffusion.

研究动机与目标

• 促进计算生成新颖、可折叠的蛋白质骨架。
• 引入生物学启发的角度表示以简化建模。
• 演示对现实骨架结构的无条件生成。
• 展示使用逆折叠和结构预测工具生成结构的可设计性。
• 发布蛋白质折叠扩散的开源代码和训练模型。

提出的方法

• 用六个连续的骨架角（phi, psi, omega, theta1, theta2, theta3）表示每个残基，以指定链中的下一个残基。
• 使用一个去噪扩散概率模型（扩散模型）和一个普通的 Transformer 来建模 pξ(xt−1|xt) 在角度数据上的。
• 正向过程对角度数据使用包裹高斯噪声；反向过程从噪声去噪到结构化角度。
• 将角度输出包裹到 [-π, π) 并应用包裹平滑L1损失以处理周期性。
• 在 CATH 去重骨架数据集上训练，使用 80/10/10 的划分和 128-残基窗口；使用带 T=1000 的余弦方差调度，以及 AdamW 优化器。
• 提供一个采样过程（FoldingDiff），从展开状态到折叠状态逐步细化角度。

实验结果

研究问题

• RQ1 无条件扩散是否能生成蛋白质骨架角度的现实分布？
• RQ2 生成的角度配置是否对应 Ramachandran 空间中的天然二级结构模体（如 α-螺旋、β-片层）？
• RQ3 生成的骨架是否可设计，即是否能通过逆折叠和结构预测由序列实现？
• RQ4 使用内部角表示对生成中的手性和等变性要求有何影响？

主要发现

• 生成的角度分布在六个角上与测试集分布高度匹配。
• Ramachandran 分析显示生成的骨架重现所有三个主要区域（右手螺旋、左手螺旋、β-片层）并符合手性。
• 177 / 780 个生成的骨架是可设计的（scTM ≥ 0.5），使用 ProteinMPNN 和 OmegaFold（22.7%）。
• 可设计性随长度变化；较短结构（≈70 残基）往往具有更高的可设计性。
• 与训练数据越相似的结构往往越可设计（对训练集的 TM-score 越高）。
• 生成的骨架多样性很高，不局限于近记忆的范例，表明结构 variety 广泛。