[论文解读] Protein-Nucleic Acid Complex Modeling with Frame Averaging Transformer

Tinglin Huang, Zhenqiao Song+2 more|arXiv (Cornell University)|Jun 13, 2024

Bacteriophages and microbial interactionsEnvironmental Science被引用 3

一句话总结

该论文提出FAFormer，一种在每个Transformer模块中集成帧平均（frame averaging）的等变Transformer架构，用于建模蛋白质-核酸复合物。通过以几何感知的方式预测残基-核苷酸接触图，FAFormer在接触图预测上实现了超过10%的相对性能提升，并实现了比RoseTTAFoldNA快20–30倍的无监督适配体筛选速度，且在真实世界适配体数据集上表现更优。

ABSTRACT

Nucleic acid-based drugs like aptamers have recently demonstrated great therapeutic potential. However, experimental platforms for aptamer screening are costly, and the scarcity of labeled data presents a challenge for supervised methods to learn protein-aptamer binding. To this end, we develop an unsupervised learning approach based on the predicted pairwise contact map between a protein and a nucleic acid and demonstrate its effectiveness in protein-aptamer binding prediction. Our model is based on FAFormer, a novel equivariant transformer architecture that seamlessly integrates frame averaging (FA) within each transformer block. This integration allows our model to infuse geometric information into node features while preserving the spatial semantics of coordinates, leading to greater expressive power than standard FA models. Our results show that FAFormer outperforms existing equivariant models in contact map prediction across three protein complex datasets, with over 10% relative improvement. Moreover, we curate five real-world protein-aptamer interaction datasets and show that the contact map predicted by FAFormer serves as a strong binding indicator for aptamer screening.

研究动机与目标

• 为解决蛋白质-适配体结合预测中标签数据有限的挑战，开发一种无监督学习方法。
• 利用几何深度学习改进蛋白质-核酸复合物的接触图预测。
• 在无需昂贵实验数据的前提下，实现大规模、高效的适配体筛选。
• 在保持3D坐标空间语义信息的同时，将几何不变性整合到Transformer架构中。

提出的方法

• FAFormer采用一种新颖的等变Transformer架构，在每个Transformer模块中嵌入帧平均（FA），以保持空间几何特性。
• 通过局部帧边模块（Local Frame Edge Module）利用几何帧编码节点与其邻居之间的局部成对相互作用。
• 通过有偏置的MLP注意力模块（Biased MLP Attention Module）将关系边特征整合到注意力机制中，实现等变的坐标更新。
• 全局帧前馈网络层（Global Frame FFN layer）将几何信息融合到全局上下文中的节点表示中。
• 模型端到端训练，从3D结构预测残基-核苷酸接触图，结合亲和力通过最大接触概率估算。
• 通过使用ESMFold预测的未结合结构而非依赖MSA的模型，加速推理过程。

Figure 1: (a) The pipeline of contact map prediction between protein and nucleic acid, and applying the predicted results for screening in an unsupervised manner. The affinity score is quantified as the maximum contact probability over all pairs. (b) Comparison between Transformer with vanilla frame

实验结果

研究问题

• RQ1 将帧平均集成到每个Transformer模块中，能否提升蛋白质-核酸复合物的几何建模性能？
• RQ2 所提出的FAFormer架构在多样化的蛋白质复合物数据集上，是否优于现有的等变模型？
• RQ3 由FAFormer预测的接触图能否作为有效的无监督适配体筛选指标？
• RQ4 在适配体筛选任务中，FAFormer与RoseTTAFoldNA等大型预训练模型相比，在速度和准确率上表现如何？

主要发现

• 与最先进的等变模型相比，FAFormer在三个蛋白质复合物数据集上的接触图预测中实现了超过10%的相对性能提升。
• 在五个经过筛选的真实世界蛋白质-适配体相互作用数据集中，FAFormer在适配体筛选中优于RoseTTAFoldNA，Top10和Top50的精确率以及PRAUC得分均更高。
• 在相同的筛选任务中，FAFormer的推理速度比RoseTTAFoldNA快20–30倍，平均推理时间分别为32.65秒（蛋白质-DNA）和51.75秒（蛋白质-RNA）。
• 在接触图预测中，FAFormer在测试集上的表现与RoseTTAFoldNA相当，同时在未见靶标的泛化能力更优。
• 对PDB ID 7DVV和7KX9的案例研究显示，即使在接触模式稀疏的情况下，FAFormer预测的接触图也与真实情况高度一致。
• 将帧平均集成到每个Transformer模块中，相比标准FA或基于球谐函数的方法，能实现更好的几何表达能力，且计算开销未显著增加。

Figure 2: Overview of FAFormer architecture. The input consists of the node features, coordinates, and edge representations, which are processed by a stack of (b) Biased MLP Attention Module, (c) Local Frame Edge Module, (d) Global Frame FFN, and (e) Gate Function. $\sum$ deontes aggregation, $\cdot