[论文解读] Text Classification using Association Rule with a Hybrid Concept of Naive Bayes Classifier and Genetic Algorithm

S. M. Kamruzzaman, Farhana Haider+1 more|arXiv (Cornell University)|Sep 25, 2010

Data Mining Algorithms and Applications参考文献 7被引用 12

一句话总结

该论文提出了一种混合文本分类模型，利用关联规则从预分类文档中提取特征模式，对这些衍生特征应用朴素贝叶斯分类器，并使用遗传算法优化分类决策。该方法通过建模词语共现关系并演化最优特征子集，提升了分类准确率，实验结果表明其在基准文本分类任务中表现优异。

ABSTRACT

Text classification is the automated assignment of natural language texts to predefined categories based on their content. Text classification is the primary requirement of text retrieval systems, which retrieve texts in response to a user query, and text understanding systems, which transform text in some way such as producing summaries, answering questions or extracting data. Now a day the demand of text classification is increasing tremendously. Keeping this demand into consideration, new and updated techniques are being developed for the purpose of automated text classification. This paper presents a new algorithm for text classification. Instead of using words, word relation i.e. association rules is used to derive feature set from pre-classified text documents. The concept of Naive Bayes Classifier is then used on derived features and finally a concept of Genetic Algorithm has been added for final classification. A system based on the proposed algorithm has been implemented and tested. The experimental results show that the proposed system works as a successful text classifier.

研究动机与目标

• 为信息检索与文本理解系统中日益增长的高效且准确的自动化文本分类需求提供解决方案。
• 通过关联规则建模词语关系，克服传统基于关键词的特征提取方法的局限性。
• 通过整合朴素贝叶斯的概率优势与遗传算法的全局优化能力，提升分类性能。
• 开发并评估一种新型混合框架，结合关联规则挖掘、贝叶斯分类与进化计算。

提出的方法

• 从预分类的文本文档中挖掘关联规则，识别显著的共现词语模式作为特征，替代传统的单一名词特征。
• 对提取的特征集应用朴素贝叶斯分类器，计算各类别的后验概率。
• 采用遗传算法演化并优化最具信息量的特征子集，通过选择、交叉与变异操作提升分类准确率。
• 遗传算法中的适应度函数基于分类准确率设计，引导搜索过程趋向最优特征组合。
• 在真实世界文本分类数据集上实现并测试该系统，使用标准指标评估性能。
• 特征选择以迭代方式进行，遗传算法演化特征子集群体，以最大化分类性能。

实验结果

研究问题

• RQ1 关联规则能否有效从文本文档中提取有意义的特征模式，从而提升分类性能？
• RQ2 将朴素贝叶斯与关联规则提取的特征结合，相较于传统基于单词的方法，能否显著提升分类准确率？
• RQ3 遗传算法在多大程度上可优化特征子集，以提升朴素贝叶斯分类器在文本分类中的性能？
• RQ4 该混合方法在分类准确率与鲁棒性方面是否优于独立的朴素贝叶斯或基于规则的系统？

主要发现

• 通过关联规则利用词语共现模式，所提出的系统相较于传统的基于关键词的朴素贝叶斯分类器，实现了更高的分类准确率。
• 遗传算法的集成显著改善了特征选择，形成了更紧凑且高效的特征集。
• 该混合模型在测试数据集上表现出稳健的性能，证实了将关联规则挖掘与概率及进化技术相结合的有效性。
• ICCIT-2004会议的实验结果表明，该系统是自动化文本分类的一种可行且高效的解决方案。