[论文解读] Scholar Name Disambiguation with Search-enhanced LLM Across Language

Renyu Zhao, Yunxin Chen|arXiv (Cornell University)|Nov 26, 2024

Data Quality and ManagementDecision Sciences被引用 3

一句话总结

本文提出一种基于搜索增强的大语言模型（LLM）方法，用于多语言学者姓名消歧，利用搜索引擎检索跨语言信息以增强LLM的推理能力。通过整合中文、英文及机构数据，该方法在姓名匹配中实现了89%的召回率，显著优于仅使用单语言或单一数据源的策略，尤其在非英语学者中表现更优。

ABSTRACT

The task of scholar name disambiguation is crucial in various real-world scenarios, including bibliometric-based candidate evaluation for awards, application material anti-fraud measures, and more. Despite significant advancements, current methods face limitations due to the complexity of heterogeneous data, often necessitating extensive human intervention. This paper proposes a novel approach by leveraging search-enhanced language models across multiple languages to improve name disambiguation. By utilizing the powerful query rewriting, intent recognition, and data indexing capabilities of search engines, our method can gather richer information for distinguishing between entities and extracting profiles, resulting in a more comprehensive data dimension. Given the strong cross-language capabilities of large language models(LLMs), optimizing enhanced retrieval methods with this technology offers substantial potential for high-efficiency information retrieval and utilization. Our experiments demonstrate that incorporating local languages significantly enhances disambiguation performance, particularly for scholars from diverse geographic regions. This multi-lingual, search-enhanced methodology offers a promising direction for more efficient and accurate active scholar name disambiguation.

研究动机与目标

• 解决现有姓名消歧方法严重依赖人工干预且在处理多语言、异构数据时表现不佳的局限性。
• 提升来自不同地理和语言背景学者的消歧准确性，特别是那些以非英语语言发表论文的学者。
• 利用搜索引擎和多语言LLM，为学者档案注入跨语言、实时且上下文相关的丰富信息。
• 通过增强检索与LLM推理，实现档案构建与匹配的自动化，降低对人工标注的依赖。
• 验证结合本地语言数据（如中文）与机构及联系方式信息，在提升消歧召回率方面的有效性。

提出的方法

• 该方法采用搜索增强型LLM，结合GPT4o和Llama3.2等模型的语言理解能力与外部搜索引擎检索，实现实时数据访问。
• 利用姓名变体（如汉语拼音）、机构隶属关系、联系方式及多语言研究关键词，构建多维学者档案。
• 通过流水线自动从网络来源提取并标准化档案数据，包括出版物、简历和机构页面。
• 通过语义嵌入与LLM驱动的归一化方法，对汉语拼音、中文与英文姓名变体进行对齐，实现跨语言姓名匹配。
• 学者比较采用评分系统：机构匹配得2分，重复的工作/教育经历段落得3分，关键词相关性得1–4分，身份确认阈值为7分。
• 系统集成搜索查询，每名学者检索最多100篇相关文档，随后由LLM对文档进行摘要并比较，以推断身份归属。

Figure 1: The workflow of our disambiguation method.

实验结果

研究问题

• RQ1 整合本地语言数据（如中文）对学者姓名消歧的召回率与准确性有何影响？
• RQ2 与仅使用元数据的普通LLM相比，搜索增强型LLM在多大程度上能提升消歧性能？
• RQ3 通过搜索检索实现的跨语言档案丰富化，能否有效减少对人工介入消歧的依赖？
• RQ4 为最大化消歧召回率，各类数据源（如姓名、机构、联系方式）的最佳组合是什么？
• RQ5 所提出的基于评分的比较方法在区分具有相似档案的学者方面有多高效？

主要发现

• 当结合汉语拼音、中文机构信息与联系方式时，该方法实现了89%的召回率，显著优于其他策略。
• 仅使用中文机构数据，召回率即从纯英文的18%提升至63%，凸显本地语言数据的价值。
• 当包含联系方式时，召回率最高（89%），表明其具有强大的区分能力。
• 所提出的7分阈值评分系统在人工评估中达到100%准确率，证实其可靠性。
• 搜索增强型LLM的整合减少了对人工消歧的依赖，实现了基于多源数据的自动化档案构建。
• 该方法在中文学者中表现尤为出色，而这些学者在纯英文消歧系统中常被低估。