[论文解读] PiFold: Toward effective and efficient protein inverse folding

Zhangyang Gao, Cheng Tan+2 more|arXiv (Cornell University)|Sep 22, 2022

Protein Structure and Dynamics被引用 49

一句话总结

PiFold 引入了一种一次性图神经网络框架，具有新颖的残基特征化和 PiGNN 层，在实现最先进的恢复性能的同时，相比自回归模型显著提升推断速度。

ABSTRACT

How can we design protein sequences folding into the desired structures effectively and efficiently? AI methods for structure-based protein design have attracted increasing attention in recent years; however, few methods can simultaneously improve the accuracy and efficiency due to the lack of expressive features and autoregressive sequence decoder. To address these issues, we propose PiFold, which contains a novel residue featurizer and PiGNN layers to generate protein sequences in a one-shot way with improved recovery. Experiments show that PiFold could achieve 51.66\% recovery on CATH 4.2, while the inference speed is 70 times faster than the autoregressive competitors. In addition, PiFold achieves 58.72\% and 60.42\% recovery scores on TS50 and TS500, respectively. We conduct comprehensive ablation studies to reveal the role of different types of protein features and model designs, inspiring further simplification and improvement. The PyTorch code is available at \href{https://github.com/A4Bio/PiFold}{GitHub}.

研究动机与目标

• 通过同时提升准确性与推理速度，激发改进的基于结构的蛋白质设计。
• 提出一个全面的残基特征器，包括可学习的虚拟原子，以丰富表示。
• 开发 PiGNN 层，在节点、边和全局层面捕捉多尺度的残基相互作用。
• 消除自回归解码，实现一次性序列生成而不牺牲准确性。
• 在 CATH、TS50 和 TS500 上进行实验验证，并通过消融分析来理解特征与模块的贡献。

提出的方法

• 构建一个 k 最近邻蛋白图（k=30），具备增强的节点和边特征，包括旋转不变和平移不变的距离、角度和方向特征。
• 引入可学习的虚拟原子 V_i^k，以捕捉相对真实原子在距离特征上的互补信息。
• 定义 PiGNN 层，结合局部节点更新、边更新与全局上下文门控，以实现高效的多尺度学习。
• 使用基于 AttMLP 的节点信息传递，提供可选的边更新和全局上下文注意力以提升表达能力。
• 采用一次性基于图的生成，取消自回归解码，使长蛋白质的推断在长度上达到线性时间（相对于长度的 O(1)）。

实验结果

研究问题

• RQ1 一次性图模型在准确性上能否超越自回归解码器，同时显著提高推断速度？
• RQ2 哪些残基特征和多尺度相互作用最能提升基于结构的蛋白质设计中的恢复率？
• RQ3 相较于现有基于图的方法，PiFold 在多个基准（CATH、TS50、TS500）上的泛化能力如何？
• RQ4 移除自回归解码对性能与效率有何影响？

主要发现

• PiFold 在 CATH 4.2 上实现 51.66% 的恢复率，优于若干基线。
• PiFold 在 TS50 上达到 58.72% 的恢复率，在 TS500 上达到 60.42%，成为首个在 TS50 超过 55%、在 TS500 超过 60% 的图模型。
• 对于长蛋白，推断速度比自回归竞争者快约 70 倍。
• 消融显示边特征和虚拟原子对性能有显著贡献，且在更深的编码器下移除自回归解码仍能维持或提升恢复。
• 在 CATH 基准上，20 个训练时期就足以达到最先进性能。