[论文解读] Text Classification Using Association Rules, Dependency Pruning and Hyperonymization

Yannis Haralambous, Philippe Lenca|arXiv (Cornell University)|Jan 1, 2014

Data Mining Algorithms and Applications参考文献 23被引用 23

一句话总结

本文提出了一种基于规则的文本分类方法，通过整合依存句法分析进行剪枝以及通过上位词化实现语义增强，从而提升关联规则挖掘的效果。通过将词语替换为其上位词并基于句法依赖关系进行过滤，该方法提高了分类准确率和可解释性，在每句10个词时达到83.99的F-measure峰值，优于基于tfidf的剪枝方法。

ABSTRACT

We present new methods for pruning and enhancing item- sets for text classification via association rule mining. Pruning methods are based on dependency syntax and enhancing methods are based on replacing words by their hyperonyms of various orders. We discuss the impact of these methods, compared to pruning based on tfidf rank of words.

研究动机与目标

• 通过将语言学知识整合到关联规则挖掘中，提升文本分类的准确率和可解释性。
• 通过利用句法依赖关系剪枝项目集，减少噪声并提高特征的相关性。
• 通过将词语替换为其不同层级的上位词，增强语义丰富性。
• 与黑箱分类器相比，提供更清晰、更易于人类理解的分类模型。
• 评估基于依存关系的剪枝与上位词化对标准tfidf特征选择的影响。

提出的方法

• 利用从依存句法分析中提取的词形句法约束进行剪枝，仅保留满足句法标准的词语。
• 通过将句子中的词语替换为其上位词（例如，'dog' → 'animal'）来提升语义泛化能力和规则覆盖范围。
• 在多个层级（一级、二级等）应用上位词化，以探索语义深度对分类效果的影响。
• 从剪枝并增强后的项目集中挖掘类别关联规则（CARs），并应用支持度和置信度阈值。
• 在句子层面构建事务，将每个句子视为文档级项目集以进行规则挖掘。
• 新文本的分类通过将其中的词语与现有CARs中的项目集匹配，并基于投票或置信度评分聚合类别预测结果完成。

实验结果

研究问题

• RQ1 在分类F-measure方面，基于依存关系的剪枝与基于tfidf的剪枝相比表现如何？
• RQ2 上位词化在多大程度上提升了分类性能和规则的可解释性？
• RQ3 在所提框架中，每句的最优词语数量（事务大小）是多少，可使F-measure最大化？
• RQ4 句法约束如何影响预测类别的多样性与分布？
• RQ5 通过上位词化实现的语义增强是否能减少过拟合并提升泛化能力？

主要发现

• 所提方法在每句10个词时达到83.99的F-measure峰值，优于相同事务大小下的tfidf基线剪枝方法。
• 基于依存关系的剪枝将每篇文档的预测类别数量（多样性）减少至约3.1个，提升了结果的一致性并减少了噪声。
• 基于tfidf的剪枝方法在每事务仅一个词时，平均F-measure为65.69，而该方法在最优设置下已超越此表现。
• 随着事务大小增加，预测结果的分散度持续上升，在N=12和N=13时达到峰值，可能由于预测类别的多样性增加所致。
• 上位词化提升了语义泛化能力，使规则能够覆盖更多样化的实例，同时保持高置信度。
• 与黑箱模型相比，该方法表现出更好的可解释性，因为规则具有人类可读性，且可基于语言学洞察进行优化。