[论文解读] Text Classification using Artificial Intelligence

S. M. Kamruzzaman|arXiv (Cornell University)|Sep 25, 2010

Text and Document Classification Technologies参考文献 3被引用 13

一句话总结

本文提出了一种基于人工智能的新型文本分类方法，通过利用词语关联（关联规则）而非单个词语作为特征，减少了对训练数据的需求。该方法结合朴素贝叶斯进行分类，并采用遗传算法进行最终决策，通过实施与测试验证，在仅使用少量标注文档的情况下实现了高效性能。

ABSTRACT

Text classification is the process of classifying documents into predefined categories based on their content. It is the automated assignment of natural language texts to predefined categories. Text classification is the primary requirement of text retrieval systems, which retrieve texts in response to a user query, and text understanding systems, which transform text in some way such as producing summaries, answering questions or extracting data. Existing supervised learning algorithms for classifying text need sufficient documents to learn accurately. This paper presents a new algorithm for text classification using artificial intelligence technique that requires fewer documents for training. Instead of using words, word relation i.e. association rules from these words is used to derive feature set from pre-classified text documents. The concept of naïve Bayes classifier is then used on derived features and finally only a single concept of genetic algorithm has been added for final classification. A system based on the proposed algorithm has been implemented and tested. The experimental results show that the proposed system works as a successful text classifier.

研究动机与目标

• 解决传统监督文本分类中需要大量标注数据集的挑战。
• 通过利用词语关系而非单个词项，减少对大量训练数据的依赖。
• 开发一种混合分类模型，整合关联规则、朴素贝叶斯与遗传算法，以提升效率。
• 评估所提方法在低数据环境下的可行性与有效性。

提出的方法

• 从预分类的文本文档中提取关联规则，基于词语共现模式推导出更高阶的特征。
• 将推导出的关联规则作为输入特征输入朴素贝叶斯分类器，以执行文档分类。
• 应用遗传算法优化最终分类决策，提升准确率与鲁棒性。
• 实现一种混合架构，其中关联规则构成特征空间，朴素贝叶斯执行概率分类，遗传算法优化输出结果。
• 使用极少量标注文档进行系统训练，重点在于语义关系而非原始词频。
• 通过在基准数据集上的实现与实证测试验证系统性能。

实验结果

研究问题

• RQ1 通过使用词语关联而非单个词语，是否能显著减少训练文档数量并实现有效的文本分类？
• RQ2 结合朴素贝叶斯与遗传算法的混合模型在低数据场景下如何提升分类准确率？
• RQ3 与传统的词袋模型相比，从文本中提取的关联规则在多大程度上改善了特征表示？
• RQ4 在文本分类流程中，遗传算法的集成是否增强了最终分类决策？
• RQ5 当应用于现实世界中标签数据有限的文本分类任务时，该方法是否具备可扩展性与有效性？

主要发现

• 与传统监督方法相比，所提方法在显著减少训练文档数量的情况下实现了有效的文本分类。
• 将关联规则作为特征使用，提升了输入数据的表征能力，使模型在数据较少时仍具备更好的泛化能力。
• 通过优化决策边界，遗传算法的集成显著提升了最终分类准确率。
• 系统在多个类别中均表现出稳健性能，表明其具备强大的泛化能力。
• 实验结果证实，该混合模型在低数据环境下优于基线方法，验证了其高效性与有效性。