[论文解读] Towards Zero-resource Cross-lingual Entity Linking

Shuyan Zhou, Shruti Rijhwani+1 more|arXiv (Cornell University)|Sep 29, 2019

Topic Modeling参考文献 25被引用 4

一句话总结

本文提出了一种零资源的跨语言实体链接（XEL）方法，通过结合神经网络与基于查找的候选生成、使用语言无关的消歧特征，并应用非线性特征组合，显著提升了低资源环境下的性能。在四种低资源语言（奥罗莫语、提格雷尼亚语、卢旺达语、僧伽罗语）上，端到端XEL准确率提升了6–23%，表明在极少资源假设下，真实低资源场景中的性能下降可被显著缓解。

ABSTRACT

Cross-lingual entity linking (XEL) grounds named entities in a source language to an English Knowledge Base (KB), such as Wikipedia. XEL is challenging for most languages because of limited availability of requisite resources. However, much previous work on XEL has been on simulated settings that actually use significant resources (e.g. source language Wikipedia, bilingual entity maps, multilingual embeddings) that are unavailable in truly low-resource languages. In this work, we first examine the effect of these resource assumptions and quantify how much the availability of these resource affects overall quality of existing XEL systems. Next, we propose three improvements to both entity candidate generation and disambiguation that make better use of the limited data we do have in resource-scarce scenarios. With experiments on four extremely low-resource languages, we show that our model results in gains of 6-23% in end-to-end linking accuracy.

研究动机与目标

• 为了在真实低资源场景中，而非模拟场景中，实证评估资源稀缺对现有XEL系统的影响。
• 为了解决当关键资源（如双语映射、多语言嵌入或源语言维基百科）不可用时，XEL性能显著下降的问题。
• 开发在极低资源场景下最大化性能的方法，重点聚焦于候选生成与消歧。
• 证明语言无关特征与非线性特征组合可提升低资源语言中的消歧迁移能力。

提出的方法

• 提出一种混合候选生成方法，结合基于查找（WikiMention）与基于枢纽（Pivoting）的方法，使四种低资源语言的召回率提升9–24%。
• 引入在英语维基百科上训练的语言无关消歧特征，并直接迁移到低资源语言中，无需语言特定的微调。
• 采用非线性特征组合方法（Burn），通过迭代方式组合特征，以更好地建模低资源环境中的复杂交互。
• 使用两阶段流程：首先通过混合方法生成多样化的候选实体，然后使用在英语数据上训练的模型对低资源语言进行消歧。
• 在四种低资源语言（奥罗莫语、提格雷尼亚语、卢旺达语、僧伽罗语）上验证方法的有效性，以英语维基百科作为目标知识库。
• 通过黄金候选召回率与端到端链接准确率评估性能，对比基线模型、混合模型与改进的消歧模型。

实验结果

研究问题

• RQ1 在真实低资源场景中，当源语言维基百科、双语实体映射或多语言嵌入等关键资源稀缺或缺失时，标准XEL系统的表现如何？
• RQ2 结合基于查找与神经方法的混合候选生成方法，是否能在单一方法失效的低资源语言中提升召回率？
• RQ3 在无需微调的情况下，基于英语数据训练的语言无关消歧特征在低资源语言中的有效迁移程度如何？
• RQ4 在低资源XEL场景中，非线性特征组合是否优于线性或贪心特征组合？
• RQ5 在低资源XEL中，改进候选生成与改进消歧对缓解端到端性能下降的相对贡献分别是什么？

主要发现

• 由于缺乏双语映射或多语言嵌入等关键资源，现有XEL系统在真实低资源场景中性能显著下降。
• 混合候选生成方法在四种低资源语言中使黄金候选召回率提升9–24%，尤其在奥罗莫语与卢旺达语等维基百科覆盖稀疏的语言中表现更优。
• 所提出的非线性特征组合方法（Burn）相比贪心组合，将消歧准确率提升0.2–3.3%，证明了灵活特征交互的价值。
• 混合候选生成与改进消歧的结合使端到端准确率相比基线系统提升6–23%，在资源最匮乏的语言中提升最大（13–23%）。
• 尽管在英语上表现良好，语言无关特征集在低资源语言上并未始终优于基线，表明英语与低资源数据之间存在领域差异，限制了特征迁移效果。
• 结果表明，候选生成是低资源XEL中的主要瓶颈，提升候选生成能力可显著扩大消歧模块提升整体准确率的空间。