[论文解读] Naive Bayes and Text Classification I - Introduction and Theory

Sebastian Raschka|arXiv (Cornell University)|Jan 1, 2014

Text and Document Classification Technologies参考文献 4被引用 81

一句话总结

本文为文本挖掘中的朴素贝叶斯分类提供了全面的理论基础，解释了在特征独立性假设下，贝叶斯定理如何实现高效的概率分类。文中详细阐述了多项式朴素贝叶斯和多变量伯努利朴素贝叶斯模型在文本中的应用，包括词频、TF-IDF加权以及拉普拉斯平滑，展示了其在垃圾邮件过滤和文档分类任务中的优异性能。

ABSTRACT

Naive Bayes classifiers, a family of classifiers that are based on the popular Bayes' probability theorem, are known for creating simple yet well performing models, especially in the fields of document classification and disease prediction. In this article, we will look at the main concepts of naive Bayes classification in the context of document categorization.

研究动机与目标

• 为使用贝叶斯定理的朴素贝叶斯分类提供清晰的理论介绍。
• 在文本分类背景下，解释类条件概率、先验概率和后验概率的数学基础。
• 比较用于文本数据的多项式朴素贝叶斯与多变量伯努利朴素贝叶斯模型。
• 展示词频、TF-IDF和加法平滑在提升模型鲁棒性中的应用。
• 指导研究人员通过真实世界短信数据，设计并实现一个朴素贝叶斯文本分类器。

提出的方法

• 应用贝叶斯定理计算文档分配至类别的后验概率：P(ωj | xi) = P(xi | ωj)P(ωj)/P(xi)。
• 在朴素独立性假设下，使用最大似然估计计算类条件概率：P(x | ωj) = ∏P(xk | ωj)。
• 采用拉普拉斯平滑（加法平滑）处理零频问题：P(xi | ωj) = (Nxi,ωj + α)/(Nωj + α·V)。
• 使用词袋模型进行特征提取，包括分词、停用词去除、词干提取和n-gram处理。
• 应用TF-IDF加权以突出显示稀有且具有信息量的词：Tf-idf = tfn(t,d) · log(nd/nd(t))。
• 比较基于词频的多项式朴素贝叶斯（基于词频计数）与基于二值存在/缺失的多变量伯努利朴素贝叶斯在文本分类中的表现。

实验结果

研究问题

• RQ1 朴素贝叶斯分类器如何计算文档属于某一给定类别的后验概率？
• RQ2 加法平滑对处理文本分类中未见词的影响是什么？
• RQ3 多项式朴素贝叶斯与多变量伯努利朴素贝叶斯模型在处理词频和文档表示方面有何不同？
• RQ4 在哪些场景下，多项式模型相较于多变量伯努利模型在文本分类中表现更优？
• RQ5 诸如停用词去除和词干提取等特征工程选择如何影响朴素贝叶斯分类器的性能？

主要发现

• 在大规模词汇量的文本数据集中，多项式朴素贝叶斯模型通常优于多变量伯努利朴素贝叶斯模型。
• 加法平滑（例如，α=1 的拉普拉斯平滑）能有效防止未见特征值的零概率问题。
• TF-IDF加权通过降低常见且区分度较低的词（如停用词）的权重，提升了模型性能。
• 由于使用原始或归一化的词频，多项式模型更适合于词频具有语义权重的文本。
• 尽管违反了条件独立性假设，朴素贝叶斯分类器在小到中等规模数据集上仍表现有效。
• 模型性能对预处理步骤（如停用词去除、词干提取和n-gram选择）高度敏感，应系统性地评估这些步骤。