[论文解读] Weighted Naive Bayes Model for Semi-Structured Document Categorization

Pierre-François Marteau, Gilbas Ménier+1 more|ArXiv.org|Jan 4, 2009

Text and Document Classification Technologies参考文献 15被引用 5

一句话总结

本文提出了一种加权朴素贝叶斯模型，通过为结构元素分配上下文相关的权重，将文档结构整合到半结构化文本分类中。通过递归建模词元出现的结构上下文，该方法在标准多项式朴素贝叶斯的基础上提升了分类准确率，在Reuters-21578数据集上实现了与支持向量机（SVM）相当的性能，采用了一种临时的加权策略。

ABSTRACT

The aim of this paper is the supervised classification of semi-structured data. A formal model based on bayesian classification is developed while addressing the integration of the document structure into classification tasks. We define what we call the structural context of occurrence for unstructured data, and we derive a recursive formulation in which parameters are used to weight the contribution of structural element relatively to the others. A simplified version of this formal model is implemented to carry out textual documents classification experiments. First results show, for a adhoc weighting strategy, that the structural context of word occurrences has a significant impact on classification results comparing to the performance of a simple multinomial naive Bayes classifier. The proposed implementation competes on the Reuters-21578 data with the SVM classifier associated or not with the splitting of structural components. These results encourage exploring the learning of acceptable weighting strategies for this model, in particular boosting strategies.

研究动机与目标

• 解决半结构化文档分类中的挑战，其中内容与结构标记交织在一起。
• 通过定义词元出现的结构上下文，形式化地将文档结构整合到贝叶斯分类中。
• 开发一种递归参数化模型，根据其对分类的相关性为结构元素分配权重。
• 与传统的词袋方法相比，评估结构上下文对分类性能的影响。
• 探索通过提升（boosting）等学习策略来学习最优加权策略的潜力，以提升模型泛化能力。

提出的方法

• 该模型将词元的结构上下文定义为从文档根节点到词元在层次结构中位置的结构元素序列。
• 引入一种递归公式，其中每个结构元素以可学习的权重参数贡献于分类得分。
• 这些权重用于调节每个结构元素在贝叶斯框架中对后验概率计算的贡献。
• 通过在多项式朴素贝叶斯基线模型中增加结构上下文加权，实现该模型的简化版本。
• 使用固定的、临时的加权策略对模型进行训练和评估，以初步验证其性能。
• 该方法允许对结构组件进行拆分，从而可与采用类似预处理的SVM方法进行比较。

实验结果

研究问题

• RQ1 在半结构化文档中引入结构上下文对朴素贝叶斯分类性能有何影响？
• RQ2 加权结构上下文模型是否能在文档分类任务中超越标准多项式朴素贝叶斯？
• RQ3 在与加权朴素贝叶斯模型结合时，结构组件的拆分对分类准确率有何影响？
• RQ4 在Reuters-21578基准测试中，所提模型与SVM在分类性能上的表现如何比较？
• RQ5 基于学习的加权策略（如提升）是否能进一步提升模型性能？

主要发现

• 与标准多项式朴素贝叶斯分类器相比，引入结构上下文显著提升了分类准确率。
• 所提模型在结构组件拆分与不拆分的情况下，性能均与SVM分类器相当。
• 在Reuters-21578数据集上，对结构元素采用临时加权策略可带来可测量的性能提升。
• 递归公式能够有效建模文档分类中层次化的结构上下文。
• 结果表明，学习最优加权策略（尤其是通过提升方法）具有显著潜力，可进一步提升性能。