[论文解读] Topic supervised non-negative matrix factorization

Kelsey MacMillan, James Wilson|arXiv (Cornell University)|Jun 12, 2017

Topic Modeling参考文献 17被引用 9

一句话总结

本文提出主题监督非负矩阵分解（TS-NMF），一种半监督主题建模方法，通过引入标注示例文档来引导主题发现，从而提升可解释性。通过将监督信息形式化为对标注文档中主题存在或缺失的约束，TS-NMF 在仅 10–20% 的标注率下，其加权 Jaccard 相似度高于无监督 NMF 和 LDA，且采用单调收敛的优化算法，确保学习过程稳定。

ABSTRACT

Topic models have been extensively used to organize and interpret the contents of large, unstructured corpora of text documents. Although topic models often perform well on traditional training vs. test set evaluations, it is often the case that the results of a topic model do not align with human interpretation. This interpretability fallacy is largely due to the unsupervised nature of topic models, which prohibits any user guidance on the results of a model. In this paper, we introduce a semi-supervised method called topic supervised non-negative matrix factorization (TS-NMF) that enables the user to provide labeled example documents to promote the discovery of more meaningful semantic structure of a corpus. In this way, the results of TS-NMF better match the intuition and desired labeling of the user. The core of TS-NMF relies on solving a non-convex optimization problem for which we derive an iterative algorithm that is shown to be monotonic and convergent to a local optimum. We demonstrate the practical utility of TS-NMF on the Reuters and PubMed corpora, and find that TS-NMF is especially useful for conceptual or broad topics, where topic key terms are not well understood. Although identifying an optimal latent structure for the data is not a primary objective of the proposed approach, we find that TS-NMF achieves higher weighted Jaccard similarity scores than the contemporary methods, (unsupervised) NMF and latent Dirichlet allocation, at supervision rates as low as 10% to 20%.

研究动机与目标

• 为解决无监督主题模型中的可解释性差距问题，即发现的主题往往与人类直觉不一致。
• 开发一种半监督方法，使用户能够通过提供标注示例文档来引导主题发现。
• 提升主题模型在与人工标注主题对齐方面的性能，尤其针对范围广泛或概念模糊的主题。
• 确保尽管问题本身非凸，优化过程仍保持单调且收敛。
• 在真实语料上评估该方法，并证明其在低标注成本下的实用性。

提出的方法

• TS-NMF 通过引入用户提供的标注文档作为监督信号，扩展了标准 NMF，约束模型在这些文档中必须包含或排除特定主题。
• 该方法将非凸优化问题形式化，以最小化重构误差，同时在标注文档上强制执行主题约束。
• 推导出一种迭代乘法更新算法，证明其单调收敛至局部最优解。
• 通过矩阵 E 对误差进行加权，优先考虑标注文档在损失函数中的影响，从而在低标注率下提升对监督信号的敏感度。
• 算法对 W 和 H 矩阵采用加权更新，其中 W 表示文档-主题权重，H 表示主题-词分布。
• 该方法可推广至任何具有标注引导的非负矩阵分解任务。

实验结果

研究问题

• RQ1 与无监督方法相比，半监督主题建模是否能提升发现主题与人工标注标签之间的对齐程度？
• RQ2 在低监督率（如 10–20%）下，TS-NMF 在提升主题可解释性方面的有效性如何？
• RQ3 通过主题约束引入标注样本，是否能产生更合理且连贯的主题表示？
• RQ4 当标注数据稀缺时，误差加权对模型性能有何影响？
• RQ5 在给定监督率下，标注集中主题的覆盖程度是否可作为模型质量的可靠预测指标？

主要发现

• 在 Reuters 和 PubMed 语料上，TS-NMF 在仅 10% 至 20% 的标注率下，其加权 Jaccard 相似度得分高于无监督 NMF 和 LDA。
• 该方法显著提升了主题可解释性，尤其在关键术语未明确定义的广泛或模糊主题上表现更优。
• 在标注率从 0.2 到 0.7 的范围内，加权 TS-NMF 均优于无权 TS-NMF，表明误差加权能增强对标注数据的敏感度。
• 在给定监督率下，标注子集中主题覆盖程度与模型性能之间无显著相关性，表明模型质量更依赖于监督质量而非覆盖范围。
• TS-NMF 的迭代算法具有单调性并收敛至局部最小值，确保了优化过程的稳定与可靠。
• TS-NMF 通过允许用户利用标注样例引导主题发现，减少了无监督模型的可解释性谬误，从而产生更具直观性与可用性的主题输出。