[论文解读] SciDr at SDU-2020: IDEAS -- Identifying and Disambiguating Everyday Acronyms for Scientific Domain

Aadarsh Singh, Priyanshu Kumar|arXiv (Cornell University)|Feb 17, 2021

Biomedical Text Mining and Ontologies参考文献 25被引用 4

一句话总结

本文提出一种基于 BERT 和 SciBERT 的方法，用于科学文本中的缩写识别（AI）与消歧（AD），将 AI 视为序列标注问题，AD 视为跨度预测问题。该系统在 SDU-2020 共享任务中取得 AI 任务第 11 名、AD 任务第 3 名的成绩，通过采用无 BIO 标注、模型融合、外部数据及后处理技术，提升了低上下文环境下缩写识别的性能。

ABSTRACT

We present our systems submitted for the shared tasks of Acronym Identification (AI) and Acronym Disambiguation (AD) held under Workshop on SDU. We mainly experiment with BERT and SciBERT. In addition, we assess the effectiveness of "BIOless" tagging and blending along with the prowess of ensembling in AI. For AD, we formulate the problem as a span prediction task, experiment with different training techniques and also leverage the use of external data. Our systems rank 11th and 3rd in AI and AD tasks respectively.

研究动机与目标

• 解决科学文档中缩写识别与消歧的挑战，因为人工标注成本高且耗时。
• 开发自动化 NLP 系统，以模仿领域专家在检测缩写及其正确全称扩展方面的表现。
• 通过利用领域特定预训练模型（SciBERT）和先进的深度学习技术，提升缩写识别与消歧的性能。
• 研究数据增强、外部知识和模型集成对低资源环境下模型鲁棒性与准确率的影响。
• 识别模型预测与数据集标注中的局限性，特别是对于上下文线索不足的缩写。

提出的方法

• 将缩写识别视为使用 BERT 和 SciBERT 的序列标注问题，采用无 BIO 标注以简化标注流程并提高训练效率。
• 应用模型融合与硬投票集成策略，结合多个模型的预测结果，提升模型鲁棒性与泛化能力。
• 将缩写消歧建模为跨度预测任务，即模型根据上下文从候选扩展列表中选择正确的全称。
• 在 SDU-2020 数据集上对 SciBERT 进行两阶段微调，并引入外部科学文本，以增强知识注入并提升对罕见缩写的性能。
• 实施一种后处理规则，当文本中缩写以括号形式直接展开时，直接预测其全称，以纠正此类情况下的模型错误。
• 通过交叉验证与测试集预测评估模型性能，分析单个模型与其集成结果之间的差异，以指导改进。

实验结果

研究问题

• RQ1 与通用 BERT 相比，SciBERT 在科学文本中的缩写识别与消歧任务中效果如何？
• RQ2 相较于标准的 BIO 标注，无 BIO 标注在缩写识别任务中对模型性能的提升程度如何？
• RQ3 模型集成与融合是否能显著提升消歧准确率，特别是对模糊或低频缩写？
• RQ4 引入外部科学文本在多大程度上提升了模型的泛化能力与对罕见或 OOV 缩写的性能？
• RQ5 模型的主要失败模式是什么？数据集标注问题（如上下文不足）如何影响预测可靠性？

主要发现

• 该系统在 SDU-2020 共享评估中取得 AI 任务第 11 名、AD 任务第 3 名的成绩。
• 由于在科学语料上进行过预训练，SciBERT 表现优于通用 BERT，证明了领域特定语言建模的优势。
• 无 BIO 标注与模型融合显著提升了 AI 任务的性能，尤其在处理复杂或模糊的缩写-全称对方面。
• 集成策略降低了预测方差，并在 92 个测试样本中提升了准确率，这些样本中单个模型存在分歧，尤其对上下文有限的缩写效果更明显。
• 基于括号内展开的后处理规则，纠正了 15% 的模型错误，这些错误发生在全称被显式写在括号中的情况下。
• 模型在缺乏足够上下文或存在多个合理扩展（如 LPP、GCN）的缩写上表现最差，表明需要更优的上下文建模或数据增强策略。