[论文解读] TURNER: The Uncertainty-based Retrieval Framework for Chinese NER

Zhichao Geng, Hang Yan+3 more|arXiv (Cornell University)|Feb 18, 2022

Topic Modeling被引用 5

一句话总结

TURNER 是一种新颖的基于不确定性的中文命名实体识别检索框架，通过使用蒙特卡洛丢弃或 top-K 标签序列识别输入中的模糊实体级组件，然后以这些组件作为查询检索外部知识，从而提升性能。该方法实现了新的 SOTA 结果，在强基线模型基础上平均提升 F1 1.1%，并通过有效整合检索到的知识到融合模型中实现性能增强。

ABSTRACT

Chinese NER is a difficult undertaking due to the ambiguity of Chinese characters and the absence of word boundaries. Previous work on Chinese NER focus on lexicon-based methods to introduce boundary information and reduce out-of-vocabulary (OOV) cases during prediction. However, it is expensive to obtain and dynamically maintain high-quality lexicons in specific domains, which motivates us to utilize more general knowledge resources, e.g., search engines. In this paper, we propose TURNER: The Uncertainty-based Retrieval framework for Chinese NER. The idea behind TURNER is to imitate human behavior: we frequently retrieve auxiliary knowledge as assistance when encountering an unknown or uncertain entity. To improve the efficiency and effectiveness of retrieval, we first propose two types of uncertainty sampling methods for selecting the most ambiguous entity-level uncertain components of the input text. Then, the Knowledge Fusion Model re-predict the uncertain samples by combining retrieved knowledge. Experiments on four benchmark datasets demonstrate TURNER's effectiveness. TURNER outperforms existing lexicon-based approaches and achieves the new SOTA.

研究动机与目标

• 为解决基于词典的方法在中文命名实体识别中的局限性，这些方法需要昂贵、静态且高质量的词典，难以在动态领域中维护。
• 通过仅聚焦于输入文本中最不确定、最模糊的组件，提升知识检索的效率与效果。
• 开发一种框架，能够动态利用外部知识源（如搜索引擎或知识图谱），而无需重新训练且不损失语义信息。
• 证明不确定性采样可引导目标性检索，减少不必要的查询，提升预测准确性。

提出的方法

• 使用蒙特卡洛丢弃或基础命名实体识别模型输出的 top-K 标签序列，识别输入文本中的不确定实体级组件。
• 将这些不确定的组件作为查询，从外部源（如搜索引擎或离线知识图谱）检索辅助知识。
• 构建知识融合模型，通过结合原始输入、检索到的知识和基础模型输出，重新预测不确定样本。
• 在从离线知识图谱检索时使用 BM25 算法，其中每个实体主体被扩展为描述性文档以用于匹配。
• 使用采样接受率（SAR）和有价值采样率（VSR）评估不确定性采样质量与效率。
• 根据 GPU 使用中的权衡，在蒙特卡洛丢弃（第一阶段成本较高）与 top-K 采样（检索量较高）之间平衡计算成本。

实验结果

研究问题

• RQ1 不确定性采样能否有效识别中文命名实体识别中最具模糊性的组件，从而实现更高效、更有效的知识检索？
• RQ2 仅对不确定组件进行知识检索，与对所有实体进行检索相比，是否能显著提升命名实体识别性能？
• RQ3 TURNER 在标准中文命名实体识别基准测试中，与现有基于词典的 SOTA 方法相比表现如何？
• RQ4 TURNER 是否能在不同知识源（包括动态搜索引擎和静态知识图谱）上实现良好泛化？
• RQ5 在使用蒙特卡洛丢弃与 top-K 标签序列采样时，计算成本与检索效果之间的权衡如何？

主要发现

• TURNER 在四个基准数据集上平均提升 F1 1.1%，显著优于基础 BERT 基础命名实体识别模型。
• 在使用搜索引擎检索时，TURNER 达到新的 SOTA 结果，在 MSRA、Ontonotes、Weibo 和 Resume 数据集上均超越现有基于词典的方法。
• 离线知识图谱版本的 TURNER 在领域内数据集（MSRA、Ontonotes、Resume）上仍优于现有 SOTA 基于词典的方法，证明了其泛化能力。
• top-K 标签序列采样在 Ontonotes 上实现了更高的 VSR（0.071），并取得更好的最优 F1（92.3），优于蒙特卡洛丢弃（VSR：0.018），表明其更有效地捕获了有用的不确定组件。
• top-K 方法的平均检索量更高（Ontonotes 上为 0.764 次/样本），高于蒙特卡洛丢弃（0.162），但两种方法的最终性能表现相当。
• 该框架保持了计算上的可行性，GPU 成本分析表明，蒙特卡洛丢弃与 top-K 的选择取决于系统约束和资源使用中的权衡。