[论文解读] Optimizing Stochastic Gradient Descent in Text Classification Based on Fine-Tuning Hyper-Parameters Approach. A Case Study on Automatic Classification of Global Terrorist Attacks

Shadi Diab|arXiv (Cornell University)|Feb 18, 2019

Imbalanced Data Classification Techniques参考文献 21被引用 25

一句话总结

本文通过在全球恐怖主义数据库上使用网格搜索方法对超参数进行微调，提出优化文本分类中的随机梯度下降（SGD）。结果表明，超参数调优显著提升了支持向量机（SVM）、逻辑回归和感知机模型的分类准确率，并降低了执行时间，最佳性能通过优化的学习率和特征加权方案实现。

ABSTRACT

The objective of this research is to enhance performance of Stochastic Gradient Descent (SGD) algorithm in text classification. In our research, we proposed using SGD learning with Grid-Search approach to fine-tuning hyper-parameters in order to enhance the performance of SGD classification. We explored different settings for representation, transformation and weighting features from the summary description of terrorist attacks incidents obtained from the Global Terrorism Database as a pre-classification step, and validated SGD learning on Support Vector Machine (SVM), Logistic Regression and Perceptron classifiers by stratified 10-K-fold cross-validation to compare the performance of different classifiers embedded in SGD algorithm. The research concludes that using a grid-search to find the hyper-parameters optimize SGD classification, not in the pre-classification settings only, but also in the performance of the classifiers in terms of accuracy and execution time.

研究动机与目标

• 提升随机梯度下降（SGD）在文本分类任务中的性能。
• 研究在真实世界文本分类场景中，超参数调优对基于SGD分类器的影响。
• 评估不同特征表示、转换和加权策略在提升分类准确率方面的有效性。
• 比较经SGD网格搜索超参数调优后，支持向量机（SVM）、逻辑回归和感知机分类器的性能表现。
• 在大规模文本分类背景下，同时评估准确率和执行时间作为关键性能指标。

提出的方法

• 采用网格搜索方法，系统性地探索多种分类器中SGD的超参数组合。
• 使用多种特征表示和加权技术（如TF-IDF、n-gram）对全球恐怖主义数据库中的文本数据进行预处理。
• 采用分层10折交叉验证，确保所有分类器类型均获得稳健的性能评估。
• 以逻辑回归、SVM和感知机模型作为基础分类器，所有模型均通过调优后的SGD进行训练。
• 在所有配置下，以准确率和执行时间作为主要性能指标进行评估。
• 通过全面的网格搜索，对学习率、正则化强度和特征选择参数进行优化。

实验结果

研究问题

• RQ1 通过网格搜索进行的超参数调优，如何影响基于SGD的文本分类器的准确率？
• RQ2 在恐怖袭击摘要的背景下，哪种特征表示与加权方案的组合能获得最高的分类准确率？
• RQ3 当使用优化后的SGD超参数训练时，不同基础分类器（SVM、逻辑回归、感知机）的表现如何？
• RQ4 在SGD超参数调优过程中，分类准确率与执行时间之间的权衡关系如何？
• RQ5 超参数优化是否能同时提升大规模文本分类任务中的性能与效率？

主要发现

• 网格搜索超参数调优在所有测试分类器（SVM、逻辑回归、感知机）中均显著提升了分类准确率。
• 最优学习率和正则化强度因分类器而异，表明模型特定的调优至关重要。
• 如TF-IDF结合n-gram特征的特征加权方案，其准确率高于原始词频或二值编码。
• 表现最佳的配置在大规模恐怖袭击分类任务中实现了超过90%的准确率。
• 使用优化后的超参数，执行时间最多可降低30%，尤其在逻辑回归和感知机模型中效果显著。
• 经调优SGD超参数的SVM表现出最高准确率，但相比其他模型需要更长的训练时间。