[论文解读] Universal Transforming Geometric Network

Jin Li|arXiv (Cornell University)|Aug 2, 2019

Protein Structure and Dynamics参考文献 19被引用 7

一句话总结

本文提出通用变换几何网络（UTGN），一种端到端可微分的蛋白质结构预测模型，用通用变换架构的编码器替代了循环神经网络（RNN）组件的循环几何网络（RGN）。由于自注意力机制增强了全局依赖性学习并实现了稳定的训练，UTGN在CASPO12上的自由建模中将RMSD降低1.7 Å，在模板依赖建模中降低0.7 Å，实现了更快的收敛速度、更高的稳定性以及更优的性能表现。

ABSTRACT

The recurrent geometric network (RGN), the first end-to-end differentiable neural architecture for protein structure prediction, is a competitive alternative to existing models. However, the RGN's use of recurrent neural networks (RNNs) as internal representations results in long training time and unstable gradients. And because of its sequential nature, it is less effective at learning global dependencies among amino acids than existing transformer architectures. We propose the Universal Transforming Geometric Network (UTGN), an end-to-end differentiable model that uses the encoder portion of the Universal Transformer architecture as an alternative for internal representations. Our experiments show that compared to RGN, UTGN achieve a $1.7$ \si{\angstrom} improvement on the free modeling portion and a $0.7$ \si{\angstrom} improvement on the template based modeling of the CASP12 competition.

研究动机与目标

• 解决基于RNN的蛋白质结构预测模型（如RGN）存在的不稳定性和长训练时间问题。
• 改善氨基酸之间长程依赖关系的学习，因为RNN受梯度消失和顺序处理的限制而难以捕捉此类依赖。
• 开发一种更稳定、收敛更快且端到端可微分的蛋白质结构预测架构。
• 证明基于变换器的内部表征在蛋白质折叠的几何深度学习中可超越RNN。

提出的方法

• 模型使用20维的独热编码表示氨基酸，并通过多序列比对（MSA）导出的归一化位置特异性评分矩阵（PSSM）进行增强。
• 采用与Vaswani等人（2017）相同的方法，使用正弦函数为输入表征添加位置编码，以提供序列位置信息。
• 采用通用变换器（UT）编码器作为内部表征机制，在多个时间步内通过多头自注意力和转移函数迭代优化表征。
• 在每个时间步，UT在所有位置之间应用缩放点积注意力，实现全局上下文感知，随后应用前馈或可分离卷积转移函数。
• 最终的内部表征用于预测每个残基的三个二面角（phi、psi、omega），进而用于重建蛋白质结构的3D笛卡尔坐标。
• 模型采用可微分损失函数进行端到端训练，以最小化预测结构与真实3D结构之间的距离。

实验结果

研究问题

• RQ1 将RGN中的RNN组件替换为通用变换器编码器，能否提升蛋白质结构预测性能？
• RQ2 与RNN相比，通用变换器的自注意力机制是否能更有效地学习氨基酸之间的长程依赖关系？
• RQ3 UTGN是否能实现比RGN更快的收敛速度和更高的训练稳定性，从而避免RGN存在的梯度爆炸和训练缓慢问题？
• RQ4 在CASPO12基准测试中，UTGN在自由建模和模板依赖建模两种场景下的性能与RGN相比如何？

主要发现

• 在CASPO12的自由建模（FM）类别中，UTGN将RMSD降低1.7 Å，TM得分提高0.013，优于RGN。
• 在模板依赖建模（TBM）类别中，UTGN将RMSD降低0.7 Å，TM得分提高0.008，优于RGN。
• UTGN的收敛速度约为RGN的两倍，且未出现梯度爆炸现象，而RGN则存在梯度不稳定问题。
• UTGN仅需200万个参数，数天内即可完成训练，而RGN需数月训练时间且参数量为UTGN的10倍才能达到最先进性能。
• 不同权重初始化对UTGN性能影响极小，而RGN在不同初始化下的结果差异显著，表明UTGN具有更优的训练稳定性。
• 在UTGN的各种变体中，基于可分离卷积的转移函数优于前馈变体，在FM和TBM基准测试中均取得最佳性能。