[论文解读] MUST-CNN: A Multilayer Shift-and-Stitch Deep Convolutional Architecture for Sequence-based Protein Structure Prediction

Zeming Lin, Jack Lanchantin+1 more|arXiv (Cornell University)|May 10, 2016

Protein Structure and Dynamics参考文献 28被引用 16

一句话总结

MUST-CNN 提出了一种新颖的多层移位-拼接卷积神经网络，用于从氨基酸序列端到端、逐位置地预测蛋白质属性。通过实现全分辨率、高效的密集预测，借助分层移位-拼接操作，该方法在二级结构和溶剂可及性预测任务上达到了最先进性能，且推理速度更快、模型结构更简单，优于以往方法。

ABSTRACT

Predicting protein properties such as solvent accessibility and secondary structure from its primary amino acid sequence is an important task in bioinformatics. Recently, a few deep learning models have surpassed the traditional window based multilayer perceptron. Taking inspiration from the image classification domain we propose a deep convolutional neural network architecture, MUST-CNN, to predict protein properties. This architecture uses a novel multilayer shift-and-stitch (MUST) technique to generate fully dense per-position predictions on protein sequences. Our model is significantly simpler than the state-of-the-art, yet achieves better results. By combining MUST and the efficient convolution operation, we can consider far more parameters while retaining very fast prediction speeds. We beat the state-of-the-art performance on two large protein property prediction datasets.

研究动机与目标

• 开发一种深度学习模型，直接从一级氨基酸序列预测蛋白质属性，如二级结构和溶剂可及性。
• 克服基于窗口的多层感知机（MLP）模型的局限性，如训练速度慢和感受野受限。
• 通过计算高效的卷积架构，在整个蛋白质序列上实现全分辨率、逐位置的标记。
• 通过引入一种新颖的移位-拼接技术，消除滑动窗口推理的需要，同时保持高模型容量和高速度。
• 建立一种通用的、端到端的框架，适用于多种生物和自然语言处理任务中的序列级逐位置标记。

提出的方法

• 提出多层移位-拼接（MUST）技术，实现在整个蛋白质序列上无池化导致的分辨率损失的全分辨率、密集预测。
• 应用具有参数共享的分层卷积层，以捕捉蛋白质序列中的长程依赖关系。
• 使用移位-拼接机制同时计算所有可能位置的得分，避免对滑动窗口重复进行前向传播。
• 在全长序列上进行端到端训练，使模型能够联合学习全局上下文和局部模式。
• 结合高效的卷积操作与 MUST 技术，在保持快速推理速度的同时扩展模型容量。
• 在不同数据集上自适应地应用 dropout 正则化，以提升泛化能力，且无需修改网络架构。

实验结果

研究问题

• RQ1 与传统的基于窗口的 MLP 模型相比，深度卷积神经网络是否能在蛋白质属性预测任务上实现更优性能？
• RQ2 移位-拼接技术是否能以计算高效的方式实现在长蛋白质序列上的全分辨率、逐位置标记？
• RQ3 在全长序列上进行端到端训练是否优于依赖局部窗口和特征工程的模型？
• RQ4 与现有最先进模型（如 GSN、LSTM 和 CNF）相比，MUST-CNN 的模型容量和推理速度如何？
• RQ5 单一统一架构是否能在极少超参数调优的情况下，泛化于多个蛋白质属性预测任务？

主要发现

• 在 CB513 数据集的 ssp（三分类二级结构）任务中，MUST-CNN 达到 89.6% 的 Q3 准确率，优于以往最先进方法。
• 在 CullPDB 数据集中，MUST-CNN 达到 68.4% 的 Q8 准确率，超过此前最佳结果 67.4%（来自 LSTM 模型）。
• 模型在 2 秒内预测超过一百万个氨基酸，尽管模型容量很高，仍展现出极快的推理速度。
• 在 4prot 数据集上，尽管使用了显著更简单的架构，MUST-CNN 在 Q3 准确率上仍比之前最佳公开结果提升 1%。
• 模型在不同数据集上泛化良好，仅通过调整 dropout 超参数，即可在多种蛋白质属性任务中保持一致的性能表现。
• 移位-拼接机制实现了无速度损失的全分辨率预测，使模型比基于窗口的方法更有效地学习长程依赖关系。