[论文解读] SLEDGE: A Simple Yet Effective Baseline for Coronavirus Scientific Knowledge Search

Sean MacAvaney, Arman Cohan+1 more|arXiv (Cornell University)|May 5, 2020

Topic Modeling参考文献 33被引用 25

一句话总结

SLEDGE 是一种针对 SARS-CoV-2 文献的简单而有效的神经搜索基线方法，通过在通用领域答案排序数据集上微调 SciBERT，并将相关性信号迁移至冠状病毒特异性检索任务。其在 TREC-COVID 排行榜上的 nDCG@10 得分为 0.6844，优于现有方法，且在极简的模型架构下展现出强劲性能。

ABSTRACT

With worldwide concerns surrounding the Severe Acute Respiratory Syndrome Coronavirus 2 (SARS-CoV-2), there is a rapidly growing body of literature on the virus. Clinicians, researchers, and policy-makers need a way to effectively search these articles. In this work, we present a search system called SLEDGE, which utilizes SciBERT to effectively re-rank articles. We train the model on a general-domain answer ranking dataset, and transfer the relevance signals to SARS-CoV-2 for evaluation. We observe SLEDGE's effectiveness as a strong baseline on the TREC-COVID challenge (topping the learderboard with an nDCG@10 of 0.6844). Insights provided by a detailed analysis provide some potential future directions to explore, including the importance of filtering by date and the potential of neural methods that rely more heavily on count signals. We release the code to facilitate future work on this critical task at this https URL

研究动机与目标

• 为迅速扩增的 SARS-CoV-2 研究文献库中有效检索科学文献提供紧急解决方案。
• 开发一种强大且易于访问的基线系统，以提升与冠状病毒相关查询的检索性能。
• 评估从通用领域数据集到 SARS-CoV-2 文献这一专业领域的迁移学习效果。
• 提供关于检索有效性的可操作见解，例如日期过滤和计数信号的影响。

提出的方法

• 在通用领域答案排序数据集上微调 SciBERT，以学习相关性信号。
• 在不使用冠状病毒数据进行任务特定微调的情况下，将预训练模型迁移至 SARS-CoV-2 领域。
• 使用迁移后的模型对初始检索系统返回的文档进行重排序。
• 利用 SciBERT 的上下文嵌入捕捉查询与科学文献之间的语义相关性。
• 在 TREC-COVID 挑战中评估该模型，使用 nDCG@10 等标准信息检索指标。
• 通过消融研究分析模型行为，重点关注日期过滤和特征重要性。

实验结果

研究问题

• RQ1 在非冠状病毒数据上微调的通用领域预训练模型，在迁移至 SARS-CoV-2 文献检索任务时效果如何？
• RQ2 在快速演化的病毒学研究背景下，日期过滤对检索有效性有何影响？
• RQ3 在科学文献的相关性排序中，计数信号与神经嵌入方法相比表现如何？
• RQ4 在该领域中，简单的迁移学习方法是否能超越更复杂的任务特定模型？

主要发现

• SLEDGE 在 TREC-COVID 排行榜上取得了 nDCG@10 得分为 0.6844 的成绩，确立了其作为强大基线的地位。
• 该模型在从通用领域数据到 SARS-CoV-2 专业领域的零样本迁移中表现出色。
• 研究发现日期过滤显著提升了检索有效性，表明时间相关性在此领域中至关重要。
• 依赖更多词汇计数信号的神经方法显示出改进潜力，提示当前基于嵌入的方法仍存在不足。
• 结果表明，从通用领域数据集进行迁移学习在新兴疫情情景下的科学信息检索中具有高度有效性。