[论文解读] Protein Classification using Machine Learning and Statistical Techniques: A Comparative Analysis

C.L.P. Gupta, Anand Bihari+1 more|arXiv (Cornell University)|Jan 18, 2019

Machine Learning in Bioinformatics参考文献 36被引用 7

一句话总结

本研究评估了七种机器学习与统计技术——CRT、QUEST、CHAID、C5.0、ANN、SVM 和贝叶斯方法——在使用来自 UniProtKB 的 4,368 条人源蛋白序列（缩减为 48 个特征）进行蛋白质功能分类中的表现。C5.0 达到了最高的准确率（86.49%），并在精确率、召回率和 F1 值方面优于其他模型，尤其在处理类别不平衡数据时表现突出，确立了其在高维、不完整数据下进行蛋白质功能预测的最有效模型地位。

ABSTRACT

In recent era prediction of enzyme class from an unknown protein is one of the challenging tasks in bioinformatics. Day to day the number of proteins is increases as result the prediction of enzyme class gives a new opportunity to bioinformatics scholars. The prime objective of this article is to implement the machine learning classification technique for feature selection and predictions also find out an appropriate classification technique for function prediction. In this article the seven different classification technique like CRT, QUEST, CHAID, C5.0, ANN (Artificial Neural Network), SVM and Bayesian has been implemented on 4368 protein data that has been extracted from UniprotKB databank and categories into six different class. The proteins data is high dimensional sequence data and contain a maximum of 48 features.To manipulate the high dimensional sequential protein data with different classification technique, the SPSS has been used as an experimental tool. Different classification techniques give different results for every model and shows that the data are imbalanced for class C4, C5 and C6. The imbalanced data affect the performance of model. In these three classes the precision and recall value is very less or negligible. The experimental results highlight that the C5.0 classification technique accuracy is more suited for protein feature classification and predictions. The C5.0 classification technique gives 95.56% accuracy and also gives high precision and recall value. Finally, we conclude that the features that is selected can be used for function prediction.

研究动机与目标

• 比较七种分类技术——CRT、QUEST、CHAID、C5.0、ANN、SVM 和贝叶斯方法——在蛋白质功能预测中的表现。
• 识别在高维蛋白质序列数据中预测酶类的最有效分类模型。
• 评估数据不平衡对模型性能的影响，特别是对 C4、C5 和 C6 类别的精确率与召回率的影响。
• 利用 C5.0 的特征选择能力，确定对蛋白质功能预测最具信息量的特征。
• 基于真实世界中的 UniProtKB 数据，为计算生物学中的机器学习模型提供一个比较基准。

提出的方法

• 本研究使用从 UniProtKB 提取的 4,368 条人源蛋白序列，每条序列由 48 个理化与结构特征表示。
• 使用 SPSS 进行特征选择与分类，该工具支持全部七种模型：CRT、QUEST、CHAID、C5.0、ANN、SVM 和贝叶斯方法。
• 特别评估了 C5.0 算法在处理非线性、高维数据及缺失值方面的能力。
• 通过标准指标评估性能：准确率、精确率、召回率、F1 值、MCC 和特异性，涵盖六个酶类。
• 分析包括类别层面与整体性能评估，重点关注类别不平衡的类别（C4、C5、C6）。
• 最后通过汇总所有类别的数据，对整体模型表现进行了综合比较。

实验结果

研究问题

• RQ1 哪种机器学习模型在将蛋白质序列分类为六种类别的酶类时准确率最高？
• RQ2 C4、C5 和 C6 类别中的数据不平衡如何影响不同分类模型的精确率与召回率？
• RQ3 与 SVM 和 ANN 等其他模型相比，C5.0 是否能更有效地处理高维、不完整的蛋白质序列数据？
• RQ4 C5.0 模型识别出的哪些特征对蛋白质功能分类最具预测性？
• RQ5 将特征选择与集成或基于规则的模型结合，是否能提升整体预测性能？

主要发现

• C5.0 在完整数据集上实现了最高的总体准确率（86.49%），正确分类了 4,368 条蛋白质序列中的 3,778 条。
• C5.0 在所有指标上均表现最优：精确率、召回率、F1 值和 MCC 均最高，尤其在类别不平衡的样本中表现突出。
• 在类别层面评估中，C5.0 模型达到了 95.56% 的准确率，显著优于 CRT（66.96%）、QUEST（61.63%）和 SVM（64.95%）。
• 该模型仅需 2 秒计算时间，表明其在高维输入下仍具有极高的效率。
• 所有模型在 C4、C5 和 C6 类别中均表现出较低的精确率与召回率，凸显了数据不平衡在蛋白质分类中持续存在的挑战。
• C5.0 选出的 37 个特征被确定为对功能预测最具相关性，建议在后续模型中优先使用。