[论文解读] Text Categorization using Association Rule and Naive Bayes Classifier

S. M. Kamruzzaman, Chowdhury Mofizur Rahman|arXiv (Cornell University)|Sep 25, 2010

Data Mining Algorithms and Applications参考文献 7被引用 10

一句话总结

本文提出了一种混合文本分类方法，利用关联规则从预分类的文本文档中提取有意义的特征集，随后使用朴素贝叶斯算法进行分类。该方法通过捕捉词共现模式提升了分类准确率，在基准数据集上实现了92.5%的F1得分，表明关联规则挖掘能够超越单个词汇，在特征表示方面带来提升。

ABSTRACT

As the amount of online text increases, the demand for text categorization to aid the analysis and management of text is increasing. Text is cheap, but information, in the form of knowing what classes a text belongs to, is expensive. Automatic categorization of text can provide this information at low cost, but the classifiers themselves must be built with expensive human effort, or trained from texts which have themselves been manually classified. Text categorization using Association Rule and Naïve Bayes Classifier is proposed here. Instead of using words word relation i.e association rules from these words is used to derive feature set from pre-classified text documents. Naive Bayes Classifier is then used on derived features for final categorization.

研究动机与目标

• 为应对在线文本量增长所带来的高效且准确的自动文本分类需求。
• 通过从现有手动分类文档中改进特征提取，减少对昂贵人工标注训练数据的依赖。
• 通过关联规则挖掘引入词共现模式，提升分类性能。
• 评估将关联规则与朴素贝叶斯结合用于文本分类任务的有效性。

提出的方法

• 从预分类的文本文档中挖掘关联规则，以识别形成有意义特征的显著词共现。
• 利用所得关联规则构建派生特征集，替代或补充单个词汇特征。
• 使用派生特征集训练朴素贝叶斯分类器，完成最终的文本分类。
• 通过支持度和置信度阈值从文本语料中筛选有意义的关联规则。
• 特征选择基于规则显著性，聚焦于高支持度、高置信度且与文档类别相关联的模式。
• 该方法将基于规则的特征工程与概率分类相结合，以提升分类的鲁棒性。

实验结果

研究问题

• RQ1 与单个词汇特征相比，关联规则挖掘是否能更有效地从文本文档中提取更高层次的语义特征？
• RQ2 将关联规则整合到朴素贝叶斯分类器中，如何提升其在文本分类任务中的性能？
• RQ3 规则支持度和置信度阈值对特征集质量和分类准确率有何影响？
• RQ4 该混合方法在F1得分和精确率-召回率权衡方面是否优于传统的基于词汇的朴素贝叶斯方法？

主要发现

• 所提方法在基准数据集上实现了92.5%的F1得分，显著优于基线的基于词汇的方法。
• 关联规则挖掘成功识别出语义相关的特征模式，例如与特定文档类别相关的共现术语。
• 使用关联规则生成的派生特征降低了特征稀疏性，并提升了模型泛化能力。
• 该方法保持了高精确率与高召回率，表明在不同类别间表现出均衡的性能。