[论文解读] Scalable Probabilistic Entity-Topic Modeling

Neil Houlsby, Massimiliano Ciaramita|arXiv (Cornell University)|Sep 2, 2013

Topic Modeling参考文献 36被引用 3

一句话总结

本文提出了一种基于潜在狄利克雷分配（LDA）的可扩展概率实体-主题模型，其中每个主题对应一篇维基百科文章，可生成内容词或实体提及。该方法采用混合吉布斯采样与随机变分推断框架，结合维基百科链接图引导，并通过基于MapReduce的分布式流水线实现，使在500万篇文档上训练仅需不到一小时，且在Aida-CoNLL数据集上达到83.04%的micro F1，性能达到当前最先进水平。

ABSTRACT

We present an LDA approach to entity disambiguation. Each topic is associated with a Wikipedia article and topics generate either content words or entity mentions. Training such models is challenging because of the topic and vocabulary size, both in the millions. We tackle these problems using a novel distributed inference and representation framework based on a parallel Gibbs sampler guided by the Wikipedia link graph, and pipelines of MapReduce allowing fast and memory-frugal processing of large datasets. We report state-of-the-art performance on a public dataset.

研究动机与目标

• 为在文本中大规模实体消歧问题提供一种具有可解释性、基于知识的主题建模框架。
• 将概率主题模型扩展至数百万个主题与大规模语料库，克服计算与内存瓶颈。
• 将维基百科链接图的结构化知识整合到推断过程中，以提升消歧准确率。
• 设计一种基于MapReduce的分布式、内存高效的推断流水线，支持快速、可扩展的训练与推理。
• 在Aida-CoNLL基准测试中，实现可扩展性与消歧准确率的最先进性能。

提出的方法

• 扩展LDA，使每个主题与一篇维基百科文章关联，并可生成内容词或显式实体提及。
• 采用混合推断方案，结合局部吉布斯采样与全局随机变分推断，以平衡准确率与效率。
• 利用维基百科链接图引导局部吉布斯采样，以提升主题一致性与消歧质量。
• 设计MapReduce流水线，将每篇文档作为独立处理单元，序列化模型、数据与元数据以支持分布式推断。
• 利用模型稀疏性与高效数据序列化技术，降低内存开销，实现快速、可扩展的处理。
• 采用在线学习机制，按文档逐次更新参数，支持在超大规模数据集上的增量训练。

实验结果

研究问题

• RQ1 能否在保持高消歧准确率的前提下，将主题模型扩展至数百万个主题？
• RQ2 如何有效将维基百科链接图整合到推断过程中以提升实体消歧性能？
• RQ3 能否在分布式环境中实现混合吉布斯采样与变分推断框架的可扩展性与高效性？
• RQ4 该模型在Aida-CoNLL等大规模实体消歧基准测试中的表现如何？
• RQ5 所提出的MapReduce流水线在效率与可扩展性方面相较于现有LDA系统有何优势？

主要发现

• 在Aida-CoNLL开发集上，模型达到83.04%的micro F1与82.84%的macro F1，性能达到当前最先进水平。
• 使用1,000台机器，在500万篇文档上完成每篇文档50轮吉布斯采样训练，耗时约一小时，展现出极高的可扩展性。
• 系统内存占用仅数百兆字节，表明即使在大规模主题空间下，仍具备极高的内存效率。
• 所提出的MapReduce流水线实现了与机器数量的线性可扩展性，表明增加资源可获得显著性能提升。
• 尽管处于与标准LDA应用不同的使用场景，该模型在主题空间规模与训练吞吐量方面仍优于现有LDA系统。
• 错误分析显示，由于词袋假设的限制，模型在同一篇文档中存在多个具有不同正确标注的实体提及时表现受限，提示未来工作需引入上下文感知加权机制。