[论文解读] Protein Secondary Structure Prediction Using Cascaded Convolutional and Recurrent Neural Networks

Zhen Li, Yizhou Yu|arXiv (Cornell University)|Apr 25, 2016

Machine Learning in Bioinformatics参考文献 33被引用 105

一句话总结

该论文提出一个端到端深度网络（DCRNN），结合多尺度CNN实现局部上下文，以及堆叠式双向GRU捕捉全局上下文，以预测8态蛋白质二级结构和溶剂暴露度，在CB6133、CB513、CASP10和CASP11数据集上达到最先进的结果。

ABSTRACT

Protein secondary structure prediction is an important problem in bioinformatics. Inspired by the recent successes of deep neural networks, in this paper, we propose an end-to-end deep network that predicts protein secondary structures from integrated local and global contextual features. Our deep architecture leverages convolutional neural networks with different kernel sizes to extract multiscale local contextual features. In addition, considering long-range dependencies existing in amino acid sequences, we set up a bidirectional neural network consisting of gated recurrent unit to capture global contextual features. Furthermore, multi-task learning is utilized to predict secondary structure labels and amino-acid solvent accessibility simultaneously. Our proposed deep network demonstrates its effectiveness by achieving state-of-the-art performance, i.e., 69.7% Q8 accuracy on the public benchmark CB513, 76.9% Q8 accuracy on CASP10 and 73.1% Q8 accuracy on CASP11. Our model and results are publicly available.

研究动机与目标

• 通过深度学习整合局部与全局序列上下文来推动并解决蛋白质二级结构预测问题。
• 利用多尺度CNN捕捉多种窗口大小的局部上下文特征。
• 使用堆叠式双向GRU来建模蛋白质序列中的长程依赖。
• 进行多任务学习，以联合预测二级结构和溶剂暴露度。
• 在公开基准CB6133、CB513、CASP10和CASP11上展示最先进的性能。

提出的方法

• 通过嵌入层将稀疏的氨基酸序列特征嵌入到密集表示中。
• 将嵌入的序列特征与PSI-BLAST派生的特征轮廓拼接。
• 应用核大小为3、7、11的多尺度CNN来提取局部上下文（每层64通道）。
• 将局部上下文的拼接输入到三层堆叠式双向GRU网络（每层600隐藏单元）并进行dropout。
• 将CNN和BGRU的输出拼接后输入到两个带ReLU激活的全连接层。
• 采用多任务损失进行训练，以同时预测8态二级结构和4态溶剂暴露度，并使用L2正则化与dropout；采用Adam优化器，并使用10个模型的Bagging集成提高鲁棒性。

实验结果

研究问题

• RQ1 端到端深度架构是否能够有效整合局部与全局上下文特征，以提升8态二级结构预测？
• RQ2 多尺度CNN结合堆叠式双向GRU是否在标准基准上优于现有方法？
• RQ3 多任务学习（二级结构与溶剂暴露度）是否带来进一步的准确性提升？
• RQ4 模型在CB6133、CB513、CASP10和CASP11数据集上的泛化能力如何？

主要发现

• 在CB6133训练集上，单模型在测试集上达到73.2%的Q8准确率（同类最高）和76.1%的溶剂暴露度。
• 集成（10个模型的Bagging）使CB513的Q8提高到69.7%，并具有显著p值，优于先前方法。
• 在CB513上，单模型达到69.4%的Q8准确率，超越DeepCNF及其他基线；集成提升鲁棒性。
• 在CASP10和CASP11上，模型分别达到76.9%的Q8（CASP10）和73.1%的Q8（CASP11）；单模型的Q3分别为87.8%和85.3%。
• 消融实验表明堆叠式BGRU与局部和全局上下文的整合对性能至关重要；移除嵌入、多尺度CNN、反向传播或使用普通RNN都会降低结果。
• 该模型展示出强大的泛化能力，在多个不同基准上优于现有多种方法。