[论文解读] RESLVE: Leveraging User Interest to Improve Entity Disambiguation on Short Text

Elizabeth L. Murnane, Bernhard Haslhofer+1 more|arXiv (Cornell University)|Apr 8, 2013

Topic Modeling参考文献 29被引用 5

一句话总结

RESLVE 提出了一种以用户兴趣为中心的方法，通过利用维基百科作为知识库建模个人兴趣，以提升在短社交媒体文本中的命名实体消歧（NED）效果。它利用用户特定的内容贡献，基于主题重叠对实体候选进行排序，在 Twitter、YouTube 和 Flickr 等低上下文环境下的传统方法中实现了显著的准确率提升——F1 分数最高提升达 46%。

ABSTRACT

We address the Named Entity Disambiguation (NED) problem for short, user-generated texts on the social Web. In such settings, the lack of linguistic features and sparse lexical context result in a high degree of ambiguity and sharp performance drops of nearly 50% in the accuracy of conventional NED systems. We handle these challenges by developing a model of user-interest with respect to a personal knowledge context; and Wikipedia, a particularly well-established and reliable knowledge base, is used to instantiate the procedure. We conduct systematic evaluations using individuals' posts from Twitter, YouTube, and Flickr and demonstrate that our novel technique is able to achieve substantial performance gains beyond state-of-the-art NED methods.

研究动机与目标

• 解决在短文本、用户生成的社交媒体内容中，由于词汇上下文稀疏而导致传统 NED 方法失效的高歧义性问题。
• 利用来自维基百科的结构化语义数据，将用户兴趣建模为个性化的知识上下文。
• 开发一种排序技术，基于用户兴趣重叠选择最符合上下文的实体语义。
• 在 Twitter、YouTube 和 Flickr 的真实世界数据上评估该方法，证明其在性能上优于当前最先进的 NED 系统。
• 公开发布一个标注数据集和系统实现，以支持可复现性与进一步研究。

提出的方法

• 通过分析用户在各平台上的用户名所关联的维基百科编辑历史和文章内容，构建用户兴趣模型。
• 使用 Wikipedia Miner 和 DBPedia Spotlight 从短文本中提取实体及其候选含义。
• 将用户兴趣表示为维基百科分类上的主题分布，利用编辑频率和内容重叠来加权主题的相关性。
• 通过计算用户兴趣模型与每个候选实体主题分布之间的余弦相似度，对候选实体语义进行排序。
• 采用归一化和阈值处理策略，以应对用户维基百科贡献较少或重叠度低的情况。
• 通过用户名匹配在社交媒体与维基百科之间进行身份关联，并为不匹配或缺失账户的情况设置备用方案。

实验结果

研究问题

• RQ1 能否通过维基百科贡献衍生出的用户特定兴趣档案，提升在短社交媒体文本中的实体消歧效果？
• RQ2 RESLVE 在低上下文、用户生成内容上的性能与当前最先进的 NED 系统相比如何？
• RQ3 用户身份映射中的主要错误来源是什么，它们如何影响消歧准确率？
• RQ4 该系统性能在多大程度上依赖于用户在维基百科中的贡献量和质量？
• RQ5 当直接贡献缺失时，能否通过协作过滤社交关系的贡献有效近似用户兴趣？

主要发现

• RESLVE 在 Twitter 数据上的 F1 分数超过 46%，相较于斯坦福 NER 在同一数据集上下降至 46% 以下，实现了显著提升。
• 该系统在 YouTube 和 Flickr 上也表现出显著的性能提升，这些平台的词汇上下文更加稀疏，证实了其在高度歧义、短文本环境中的有效性。
• 对于维基百科贡献极少的用户，性能显著下降，凸显了知识库中用户生成内容数量对系统性能的依赖性。
• 用户名匹配中的误报（例如，相同用户名但不同用户）和漏报（不同用户名但同一身份）是主要错误来源，尤其影响身份解析的准确性。
• 该方法通过利用个人上下文而非依赖于短文本中常缺失或不可靠的局部词汇特征，优于基线 NED 技术。
• 公开发布的数据集和实现支持可复现性，并为个性化实体消歧的未来研究提供支持。