[论文解读] Text Classification using Data Mining

S. M. Kamruzzaman, Farhana Haider+1 more|arXiv (Cornell University)|Sep 25, 2010

Text and Document Classification Technologies参考文献 6被引用 27

一句话总结

该论文提出了一种新颖的文本分类方法，利用数据挖掘技术通过关联规则提取词项关联关系来提取特征，结合朴素贝叶斯进行分类，并采用单一遗传算法进行最终决策。该方法在比传统监督模型更少的训练文档下实现了有效的分类，在实验验证中表现出色。

ABSTRACT

Text classification is the process of classifying documents into predefined categories based on their content. It is the automated assignment of natural language texts to predefined categories. Text classification is the primary requirement of text retrieval systems, which retrieve texts in response to a user query, and text understanding systems, which transform text in some way such as producing summaries, answering questions or extracting data. Existing supervised learning algorithms to automatically classify text need sufficient documents to learn accurately. This paper presents a new algorithm for text classification using data mining that requires fewer documents for training. Instead of using words, word relation i.e. association rules from these words is used to derive feature set from pre-classified text documents. The concept of Naive Bayes classifier is then used on derived features and finally only a single concept of Genetic Algorithm has been added for final classification. A system based on the proposed algorithm has been implemented and tested. The experimental results show that the proposed system works as a successful text classifier.

研究动机与目标

• 解决监督文本分类方法依赖大量标注训练数据的局限性。
• 开发一种基于词项关系而非单个词项的特征提取技术。
• 整合关联规则挖掘、概率分类与遗传算法，以提升效率与准确率。
• 在保持分类性能的同时，降低对大规模标注数据集的依赖。
• 通过在真实世界文本分类任务中实施与实证测试，验证所提出系统的有效性。

提出的方法

• 通过预分类文档中词项共现关系提取的关联规则进行特征提取，捕捉词项之间的语义关系。
• 在提取的特征集上应用朴素贝叶斯分类器，基于提取的关联关系估计类别概率。
• 在最终分类步骤中采用单一遗传算法，以优化决策边界并提高分类准确率。
• 系统以流水线形式实现：文档预处理 → 关联规则挖掘 → 特征生成 → 朴素贝叶斯分类 → 遗传算法优化。
• 通过强调关系模式而非原始词频，实现最小化训练数据需求。
• 通过使用关联规则建模词项之间的上下文关系，避免对大规模标注语料库的依赖。

实验结果

研究问题

• RQ1 能否使用词项关联规则而非单个词项特征来有效实现文本分类？
• RQ2 将关联规则挖掘与朴素贝叶斯及遗传算法结合，是否能减少对大规模训练数据集的需求？
• RQ3 与传统监督文本分类技术相比，该方法在准确率与效率方面表现如何？
• RQ4 在标注数据有限的情况下，关系特征在多大程度上提升了分类性能？
• RQ5 结合数据挖掘与进化计算的混合模型能否实现稳健的文本分类结果？

主要发现

• 尽管使用的训练文档数量少于传统监督方法，所提系统仍实现了高分类准确率。
• 使用关联规则进行特征提取能有效捕捉词项间的语义关系，提升模型泛化能力。
• 在最终分类步骤中集成遗传算法显著增强了决策的准确率与鲁棒性。
• 实验结果证实，该系统在所测试数据集上作为成功文本分类器具有有效性。
• 该方法显著降低了对大规模标注数据集的依赖，适用于低资源文本分类场景。
• 该系统已在国际会议上成功实现并验证，表明其具备实际可行性。