[论文解读] SlugNERDS: A Named Entity Recognition Tool for Open Domain Dialogue Systems

Kevin K. Bowden, Jiaqi Wu+3 more|arXiv (Cornell University)|May 9, 2018

Topic Modeling被引用 16

一句话总结

SlugNERDS 是一款专为开放领域对话系统设计的命名实体识别与链接工具，旨在解决粗粒度实体类型和缺乏本体对齐的局限性。它利用 Schema.org 实体类型，并引入两项新资源——SlugEntityDB 和 SchemaActuator——以提升实体分类与上下文链接的准确性，在多样化的现实对话中相比传统 NER 系统表现更优。

ABSTRACT

In dialogue systems, the tasks of named entity recognition (NER) and named entity linking (NEL) are vital preprocessing steps for understanding user intent, especially in open domain interaction where we cannot rely on domain-specific inference. UCSC's effort as one of the funded teams in the 2017 Amazon Alexa Prize Contest has yielded Slugbot, an open domain social bot, aimed at casual conversation. We discovered several challenges specifically associated with both NER and NEL when building Slugbot, such as that the NE labels are too coarse-grained or the entity types are not linked to a useful ontology. Moreover, we have discovered that traditional approaches do not perform well in our context: even systems designed to operate on tweets or other social media data do not work well in dialogue systems. In this paper, we introduce Slugbot's Named Entity Recognition for dialogue Systems (SlugNERDS), a NER and NEL tool which is optimized to address these issues. We describe two new resources that we are building as part of this work: SlugEntityDB and SchemaActuator. We believe these resources will be useful for the research community.

研究动机与目标

• 解决现有 NER 系统在开放领域对话中的不足，特别是粗粒度实体标注和缺乏语义本体集成的问题。
• 开发一种系统，利用 Schema.org 作为共享分类体系，实现细粒度、语义上有意义的实体分类。
• 创建并发布两项新资源——SlugEntityDB 和 SchemaActuator——分别标注了对话级实体类型和动作到类型映射。
• 通过实现话语级实体链接和跨话题变化的上下文消歧，提升对话理解能力。
• 克服现实对话中的挑战，如大小写错误、实体引用模糊以及知识图谱覆盖不全等问题。

提出的方法

• 系统结合规则驱动与学习型组件，利用 Schema.org 定义的实体类型（如 Movie、Person、SportsTeam）检测并分类命名实体。
• SlugNERDS 集成了话语级回指消解机制，可将代词（如 'he'）链接至先前提及的实体，提升上下文连贯性。
• 该工具利用 Google 知识图谱进行实体链接，通过查询优化处理用户输入中的大小写和标点符号差异。
• 引入 SchemaActuator，将用户动作（如 'watched'、'saw'、'read'）映射到对应实体类型，增强意图识别能力。
• SlugEntityDB 是一个包含超过 10,000 条真实用户对话的新语料库，标注了细粒度的 Schema.org 实体类型及上下文关系。
• 系统基于 Slugbot 社交机器人收集的真实对话数据进行训练与评估，并通过迭代优化输入文本质量与实体链接准确性。

实验结果

研究问题

• RQ1 在实体类型高度多样化且依赖上下文的开放领域对话系统中，如何改进命名实体识别？
• RQ2 Schema.org 实体类型在多大程度上能提升开放对话中 NER 的精度与语义丰富度？
• RQ3 话语级回指消解在用户突然切换话题或使用代词时，能否提升实体链接的准确性？
• RQ4 输入质量问题（如标点缺失、大小写错误）对实体识别与链接性能有何影响？
• RQ5 现有 NER 与 NEL 系统在应用于开放领域对话时的主要失败模式是什么，如何加以缓解？

主要发现

• 与传统 NER 系统相比，SlugNERDS 通过使用细粒度的 Schema.org 实体类型而非粗粒度类别（如 PERSON 或 ORGANIZATION），在开放领域对话中表现显著更优。
• 引入 SchemaActuator 后，系统能够根据用户动作（如 'read' → BookSeries）正确识别实体类型，从而提升意图识别与后续问题质量。
• 话语级回指消解成功将代词（如 'he'）链接至其正确先行词，即使在话题切换时也保持良好表现，增强了上下文理解能力。
• 通过查询归一化与启发式匹配策略，系统对输入噪声（如缺失大写与标点）表现出强鲁棒性。
• 通过引入上下文与地理知识，实体链接中常见的歧义问题（如 'Sacramento Airport' 与 'Sacramento International Airport' 之间的混淆）得到显著缓解。
• 尽管有上述改进，对于 Google 知识图谱中未包含的实体（如视频游戏主机或操作系统），实体解析仍面临挑战，凸显了构建更全面知识库的必要性。