[论文解读] Semi-supervised NMF Models for Topic Modeling in Learning Tasks

Jamie Haddock, Lara Kassab+10 more|arXiv (Cornell University)|Oct 15, 2020

Text and Document Classification Technologies参考文献 39被引用 4

一句话总结

本文提出了新的半监督非负矩阵分解（SSNMF）模型，通过在特定不确定性分布下的最大似然估计，将监督信息整合到主题建模中。利用乘法更新规则，该模型在20 Newsgroups数据集上实现了81.78%的中位数分类准确率，同时学习到语义连贯、可解释的主题，且与类别标签一致。

ABSTRACT

We propose several new models for semi-supervised nonnegative matrix factorization (SSNMF) and provide motivation for SSNMF models as maximum likelihood estimators given specific distributions of uncertainty. We present multiplicative updates training methods for each new model, and demonstrate the application of these models to classification, although they are flexible to other supervised learning tasks. We illustrate the promise of these models and training methods on both synthetic and real data, and achieve high classification accuracy on the 20 Newsgroups dataset.

研究动机与目标

• 开发在降维过程中融入标签信息的SSNMF模型，以提升监督学习性能。
• 将所提出的SSNMF模型形式化为在特定不确定性分布下基于最大似然估计的模型。
• 设计支持缺失数据和部分监督的乘法更新算法。
• 在合成数据和真实世界数据上评估模型，尤其针对文本分类任务。
• 证明SSNMF能够生成语义连贯且对分类有效的主题表示。

提出的方法

• 在假设数据和标签中不确定性分布的前提下，将SSNMF形式化为最大似然估计（MLE）问题。
• 引入多种使用不同损失函数的SSNMF变体：I-散度（KL散度）和Frobenius范数。
• 推导所有所提模型的乘法更新规则，以支持带有非负性约束的迭代优化。
• 通过灵活的目标函数设计和更新规则，支持部分监督和缺失数据。
• 通过将文档-词矩阵分解为主题表示（词典）和文档-主题权重（表示矩阵），将模型应用于文本数据。
• 利用学习到的低维表示进行下游分类，性能在基准数据集上进行评估。

实验结果

研究问题

• RQ1 能否在特定不确定性假设下，形式化证明半监督NMF模型为最大似然估计器？
• RQ2 在主题建模和分类任务中，不同组合的散度度量（I-散度与Frobenius范数）如何影响模型性能？
• RQ3 与标准NMF或基线分类器相比，SSNMF在文本数据上能多大程度提升分类准确率？
• RQ4 SSNMF所学习的主题在多大程度上具有可解释性？是否与真实世界数据中的已知类别标签对齐？
• RQ5 部分监督和缺失数据对SSNMF模型收敛性和性能有何影响？

主要发现

• 所提出的SSNMF模型，特别是（D(·‖·), ‖·‖F）-SSNMF变体，在20 Newsgroups数据集上实现了81.78%的中位数测试分类准确率。
• 主题建模结果表明，所学习的主题语义连贯，并与类别标签对齐——例如，关于中东、枪支和宗教的主题正确关联到政治和宗教类别。
• （D(·‖·), ‖·‖F）-SSNMF模型在分类准确率上优于其他SSNMF变体，尽管在目标函数误差最小化方面未必更优。
• 模型在降维过程中成功保留了与标签相关的关键特征，避免了重要数据结构的抑制。
• 所学习的主题表示实现了与更高维多项式朴素贝叶斯基线相当的高性能分类。
• 定性分析表明，每个主题的关键词具有实际意义且与对应类别一致，表明主题具有良好的连贯性。