[论文解读] Topic Modelling of Empirical Text Corpora: Validity, Reliability, and Reproducibility in Comparison to Semantic Maps

Tobias Hecking, Loet Leydesdorff|arXiv (Cornell University)|Jun 4, 2018

Computational and Text Analysis Methods参考文献 20被引用 6

一句话总结

本研究对比了潜在狄利克雷分布（LDA）主题模型与主成分分析（PCA）在6,638篇2014年研究卓越框架（REF 2014）案例描述上的应用，发现LDA对数据扰动更敏感，但语义一致性更高。结果凸显了LDA的统计不稳定性，并警示在缺乏基于语义图的领域特定验证前，不应直接用于语义解释。

ABSTRACT

Using the 6,638 case descriptions of societal impact submitted for evaluation in the Research Excellence Framework (REF 2014), we replicate the topic model (Latent Dirichlet Allocation or LDA) made in this context and compare the results with factor-analytic results using a traditional word-document matrix (Principal Component Analysis or PCA). Removing a small fraction of documents from the sample, for example, has on average a much larger impact on LDA than on PCA-based models to the extent that the largest distortion in the case of PCA has less effect than the smallest distortion of LDA-based models. In terms of semantic coherence, however, LDA models outperform PCA-based models. The topic models inform us about the statistical properties of the document sets under study, but the results are statistical and should not be used for a semantic interpretation - for example, in grant selections and micro-decision making, or scholarly work-without follow-up using domain-specific semantic maps.

研究动机与目标

• 评估在实证文本语料上使用LDA进行主题建模的有效性、可靠性和可重现性。
• 从稳定性和语义一致性角度，比较基于LDA的主题模型与基于PCA的因子分析模型。
• 评估微小数据扰动（如文档删除）对模型稳定性的影响。
• 探究在缺乏补充领域知识的情况下，LDA结果是否可被有意义地进行语义解释。
• 倡导在学术与评估决策背景下，使用语义图来验证LDA输出。

提出的方法

• 将潜在狄利克雷分布（LDA）应用于包含6,638篇REF 2014年社会影响案例描述的语料库。
• 在传统的词-文档矩阵上使用主成分分析（PCA）作为对比的因子分析方法。
• 系统性地删除少量文档，以测试模型的敏感性与稳定性。
• 使用标准的语义一致性度量指标评估主题模型的一致性。
• 比较LDA与PCA在数据扰动下的模型失真情况。
• 整合领域特定的语义图以验证并解释LDA结果。

实验结果

研究问题

• RQ1 删除少量文档如何影响LDA与PCA模型的稳定性？
• RQ2 与基于PCA的因子模型相比，基于LDA的主题模型的相对语义一致性如何？
• RQ3 LDA结果在微小数据扰动下可重现的程度有多大？
• RQ4 LDA输出能否在资助遴选等高风险决策中可靠地用于语义解释？
• RQ5 语义图如何提升实证文本语料中主题建模结果的有效性？

主要发现

• LDA模型对数据扰动的敏感性显著高于PCA模型，即使是最小的LDA失真也超过最大的PCA失真。
• 尽管稳定性较低，LDA模型仍获得高于基于PCA模型的语义一致性得分。
• LDA结果是统计驱动的，若无额外的语义验证，其本身并非固有可解释。
• 微小的文档遗漏会不成比例地影响LDA结果，从而削弱其在微观决策中的可靠性。
• 语义图对于将LDA结果与特定领域的意义相联系至关重要，尤其是在学术与评估语境中。
• 本研究警示：在未通过专家驱动的语义图进行后续验证前，不应直接使用LDA输出进行语义解释。