[论文解读] TERMinator: A Neural Framework for Structure-Based Protein Design using Tertiary Repeating Motifs

Alex J. Li, Vikram Sundar+2 more|arXiv (Cornell University)|Apr 27, 2022

Machine Learning in Bioinformatics被引用 7

一句话总结

TERMinator 是一种新颖的深度学习框架，通过将三级重复基序（TERMs）和骨架坐标特征整合到图神经网络中，以提升基于结构的蛋白质设计性能。通过结合基于统计的 TERM 序列-结构关系与几何坐标数据，TERMinator 在天然序列恢复任务中达到最先进水平，证明 TERM 特征对实现最优性能至关重要。

ABSTRACT

Computational protein design has the potential to deliver novel molecular structures, binders, and catalysts for myriad applications. Recent neural graph-based models that use backbone coordinate-derived features show exceptional performance on native sequence recovery tasks and are promising frameworks for design. A statistical framework for modeling protein sequence landscapes using Tertiary Motifs (TERMs), compact units of recurring structure in proteins, has also demonstrated good performance on protein design tasks. In this work, we investigate the use of TERM-derived data as features in neural protein design frameworks. Our graph-based architecture, TERMinator, incorporates TERM-based and coordinate-based information and outputs a Potts model over sequence space. TERMinator outperforms state-of-the-art models on native sequence recovery tasks, suggesting that utilizing TERM-based and coordinate-based features together is beneficial for protein design.

研究动机与目标

• 开发一种神经网络框架，通过整合三级重复基序（TERMs）与基于坐标的特征，提升基于结构的蛋白质设计性能。
• 探究基于 TERM 的统计特征是否能在仅使用基于坐标的模型基础上进一步提升蛋白质设计性能。
• 在统一的深度学习架构中评估基于 TERM 的特征与基于坐标特征的贡献差异。
• 建立一种可扩展的端到端框架，用于基于混合结构特征表示的蛋白质序列设计。

提出的方法

• TERMinator 采用两阶段架构：TERM 信息压缩器通过消息传递网络（TERM MPNN）处理局部 TERM 图，GNN Potts 模型编码器通过 k-最近邻（k-NN）图整合全局结构。
• TERM 特征源自每个 TERM 的前 50 个 PDB 匹配，残基嵌入通过注意力池化方法从匹配中生成，边嵌入通过加权互协方差矩阵计算。
• 模型将基于 TERM 的结构嵌入与基于坐标的特征（来自 Ingraham 等人）融合，以在序列空间上预测 Potts 模型，实现对残基身份的 probabilistic 评分。
• 训练过程中最小化复合伪似然损失，能量通过 Potts 模型的自相互作用项与成对相互作用项计算，用于评估上下文相关的残基对。
• 推理阶段使用 MCMC 模拟退火从学习到的 Potts 模型中生成最优序列。
• 消融研究分离分析 TERM 特征、坐标特征及 GNN 组件的贡献，评估其单独与联合影响。

实验结果

研究问题

• RQ1 将基于三级重复基序（TERM）的统计特征与刚性基于坐标的特征结合，能否提升蛋白质序列设计性能？
• RQ2 与仅使用基于坐标的特征相比，基于 TERM 的特征在序列-结构关系建模中起到何种作用？
• RQ3 TERM 集成带来的性能提升是否源于其捕捉跨多种蛋白质中模糊且重复出现的结构模式的能力？
• RQ4 GNN Potts 模型编码器如何结合 TERM 与坐标特征，以在天然序列恢复任务中超越现有模型？

主要发现

• TERMinator 在天然序列恢复任务中优于当前最先进模型，在 CATH 4.2 基准数据集上达到最高性能。
• 消融研究证实，基于 TERM 的特征对实现最优性能至关重要，移除后性能显著下降。
• 在单张 V100 GPU 上，模型平均推理时间为每结构 97 ms（每残基 61 μs），表明其具有高效的部署潜力。
• 去除 GNN Potts 模型编码器的 TERMinator 抽象版本性能与 dTERMen 相当，验证了二者底层特征集的相似性，尽管匹配数量和图使用方式存在差异。
• TERM 与坐标特征的融合使 Potts 模型更加稳健和精确，这由改进的复合伪似然训练目标所证实。