[论文解读] SemEval-2023 Task 7: Multi-Evidence Natural Language Inference for Clinical Trial Data

Maël Jullien, Marco Valentino+4 more|arXiv (Cornell University)|May 4, 2023

Topic Modeling被引用 4

一句话总结

本论文介绍了SemEval-2023任务7，这是一个针对临床试验数据的多证据自然语言蕴含（NLI）与证据选择的基准，要求进行复杂的多跳推理与数值推理。表现最佳的系统在蕴含任务上的F1得分为0.856，在证据选择任务上为0.853，模型规模的影响强于生物医学预训练。

ABSTRACT

This paper describes the results of SemEval 2023 task 7 -- Multi-Evidence Natural Language Inference for Clinical Trial Data (NLI4CT) -- consisting of 2 tasks, a Natural Language Inference (NLI) task, and an evidence selection task on clinical trial data. The proposed challenges require multi-hop biomedical and numerical reasoning, which are of significant importance to the development of systems capable of large-scale interpretation and retrieval of medical evidence, to provide personalized evidence-based care. Task 1, the entailment task, received 643 submissions from 40 participants, and Task 2, the evidence selection task, received 364 submissions from 23 participants. The tasks are challenging, with the majority of submitted systems failing to significantly outperform the majority class baseline on the entailment task, and we observe significantly better performance on the evidence selection task than on the entailment task. Increasing the number of model parameters leads to a direct increase in performance, far more significant than the effect of biomedical pre-training. Future works could explore the limitations of large models for generalization and numerical inference, and investigate methods to augment clinical datasets to allow for more rigorous testing and to facilitate fine-tuning. We envisage that the dataset, models, and results of this task will be useful to the biomedical NLI and evidence retrieval communities. The dataset, competition leaderboard, and website are publicly available.

研究动机与目标

• 开发并评估在临床试验报告上进行多证据自然语言蕴含的系统，要求具备多跳与数值推理能力。
• 评估NLP模型在临床试验文档中检索支持性证据以证明蕴含预测的能力。
• 研究模型规模与生物医学预训练对临床NLP任务中推理性能的影响。
• 提供一个公开可用的数据集与基准，以推动循证医学与临床决策支持系统的发展。

提出的方法

• 该任务使用了超过2,000份临床试验报告（CTRs）构成的数据集，其中包含自然语言陈述及其对应的蕴含标签（蕴含、矛盾、中性）。
• 参赛者需完成两项任务：(1) 预测陈述与临床试验报告之间的蕴含关系；(2) 从临床试验报告中提取支持性证据以证明标签。
• NLI4CT数据集通过负向重写策略构建，为每个临床试验报告的前提生成一个蕴含与一个矛盾的陈述。
• 系统通过在蕴含任务与证据选择任务上的F1得分进行评估，结果汇总于公开排行榜。
• 研究分析了系统行为，包括证据提取与推理的顺序，并评估了确认偏误与统计伪影的影响。
• 进行了统计稳健性检验，以排除表面模式或标记分布偏差导致性能虚高。

Figure 1: We propose two tasks for reasoning on clinical trial data expressed in natural language. Firstly, to predict the entailment of a Statement and a CTR premise, and secondly, to extract evidence to support the label.

实验结果

研究问题

• RQ1 最先进NLP模型在临床试验数据的多证据NLI与证据选择任务上的表现如何？
• RQ2 在临床NLI任务中，模型规模与生物医学预训练的相对影响是什么？
• RQ3 证据选择与蕴含分类的顺序是否会影响系统性能？
• RQ4 陈述中的统计伪影或表面模式在多大程度上影响了模型预测？
• RQ5 当依赖多跳与数值推理时，系统在临床NLI任务上的泛化能力如何？

主要发现

• 表现最佳的系统@THiFLY在蕴含任务上的F1得分为0.856，在证据选择任务上为0.853。
• 大多数提交的系统在蕴含任务上未能显著优于多数类基线，表明该任务具有较高难度。
• 证据选择任务的性能始终高于蕴含任务，表明其挑战性较低。
• 增大模型规模对性能的正向影响强于生物医学预训练，后者的影响相对较小。
• 先进行证据选择再执行推理的系统取得了显著更高的F1与精确率得分，表明其避免了确认偏误。
• 数据集对统计伪影具有鲁棒性，因为在测试集中，蕴含类别之间未发现显著的标记分布或长度偏差。

Figure 2: Graph comparing system F1 scores across the entailment task and the evidence selection task