[论文解读] Protein secondary structure prediction using deep convolutional neural fields

Sheng Wang, Jian Peng+2 more|arXiv (Cornell University)|Dec 2, 2015

Protein Structure and Dynamics参考文献 79被引用 41

一句话总结

该论文提出 DeepCNF，一种深度卷积神经场模型，通过将条件随机场与深度分层神经网络相结合，以提升蛋白质二级结构预测性能。通过建模复杂的序列-结构关系与标签依赖性，DeepCNF 在 CASP 和 CAMEO 基准测试中分别达到 84% 的 Q3 准确率、85% 的 SOV 和 72% 的 Q8，显著超越了过去十余年停滞在约 80% Q3 准确率的先前方法。

ABSTRACT

Protein secondary structure (SS) prediction is important for studying protein structure and function. When only the sequence (profile) information is used as input feature, currently the best predictors can obtain ~80% Q3 accuracy, which has not been improved in the past decade. Here we present DeepCNF (Deep Convolutional Neural Fields) for protein SS prediction. DeepCNF is a Deep Learning extension of Conditional Neural Fields (CNF), which is an integration of Conditional Random Fields (CRF) and shallow neural networks. DeepCNF can model not only complex sequence-structure relationship by a deep hierarchical architecture, but also interdependency between adjacent SS labels, so it is much more powerful than CNF. Experimental results show that DeepCNF can obtain ~84% Q3 accuracy, ~85% SOV score, and ~72% Q8 accuracy, respectively, on the CASP and CAMEO test proteins, greatly outperforming currently popular predictors. As a general framework, DeepCNF can be used to predict other protein structure properties such as contact number, disorder regions, and solvent accessibility.

研究动机与目标

• 为克服蛋白质二级结构预测准确率长期停滞在约 80% Q3 的瓶颈，尽管序列基方法已取得进展。
• 开发一种深度学习框架，以比浅层模型更有效地捕捉分层的、非线性的序列-结构关系。
• 显式建模相邻二级结构标签之间的依赖关系，提升局部一致性与预测可靠性。
• 构建一种可泛化的深度学习架构，可扩展应用于二级结构以外的其他蛋白质结构特性预测，如溶剂可及性与无序区域。

提出的方法

• DeepCNF 通过用深层卷积神经网络替代浅层神经网络，扩展了条件神经场（CNF），以学习分层的、上下文感知的序列表征。
• 该模型采用深层残差网络架构，从蛋白质序列谱中提取多层次特征，捕捉长程依赖关系与复杂模式。
• 在顶层集成条件随机场（CRF），用于建模标签序列的依赖关系，确保相邻残基预测的一致性。
• 整个架构通过反向传播进行端到端训练，采用对数似然损失函数，并通过随机梯度下降进行优化。
• 注意力机制未被显式使用，但深层卷积层通过分层特征学习隐式聚焦于相关序列模式。
• 该框架设计具有可扩展性，通过修改输出层与损失函数，可轻松适配其他蛋白质结构特性预测任务。

实验结果

研究问题

• RQ1 深层神经网络架构能否突破先前方法中约 80% Q3 准确率的瓶颈？
• RQ2 深层卷积神经场模型在同时捕捉分层序列特征与局部标签依赖关系方面效果如何？
• RQ3 将深度学习与基于 CRF 的序列建模相结合，是否能在基准数据集上带来可测量的准确率与鲁棒性提升？
• RQ4 所提出的框架能否泛化至预测二级结构以外的其他蛋白质结构特性？
• RQ5 DeepCNF 在独立测试集（如 CASP 与 CAMEO）上的性能与最先进预测器相比如何？

主要发现

• DeepCNF 在 CASP 与 CAMEO 测试集上达到 84% 的 Q3 准确率，显著超越先前方法约 80% Q3 准确率的瓶颈。
• 模型取得 85% 的 SOV（段重叠值），表明其在预测连续二级结构片段方面表现优异。
• 其 Q8 准确率达到 72%，表明在区分八种二级结构状态方面具有更高分辨率。
• 性能提升归因于通过神经条件随机场框架联合建模深层分层特征与标签序列依赖关系。
• 该框架具有良好的泛化能力，展现出在溶剂可及性与无序区域等其他蛋白质结构特性预测任务中的应用潜力。
• 结果证实，端到端训练深层卷积神经场可实现比先前最先进模型更优的表征学习与结构一致性。