[论文解读] Understanding Clinical Trial Reports: Extracting Medical Entities and Their Relations

Benjamin Nye, Jay DeYoung+4 more|arXiv (Cornell University)|Oct 7, 2020

Biomedical Text Mining and Ontologies被引用 10

一句话总结

本文提出了一种端到端系统，用于从随机对照试验（RCT）报告中提取结构化临床证据——干预措施、结局指标及比较结果。该研究提出Extract, Link, Infer（ELI）方法，通过利用试验报告中的语言模式，其性能优于当前最先进的NLP模型，并通过与致力于癌症药物再利用的非营利组织RebootRX的合作开展实地评估，展示了其实际应用价值。

ABSTRACT

The best evidence concerning comparative treatment effectiveness comes from clinical trials, the results of which are reported in unstructured articles. Medical experts must manually extract information from articles to inform decision-making, which is time-consuming and expensive. Here we consider the end-to-end task of both (a) extracting treatments and outcomes from full-text articles describing clinical trials (entity identification) and, (b) inferring the reported results for the former with respect to the latter (relation extraction). We introduce new data for this task, and evaluate models that have recently achieved state-of-the-art results on similar tasks in Natural Language Processing. We then propose a new method motivated by how trial results are typically presented that outperforms these purely data-driven baselines. Finally, we run a fielded evaluation of the model with a non-profit seeking to identify existing drugs that might be re-purposed for cancer, showing the potential utility of end-to-end evidence extraction systems.

研究动机与目标

• 为解决从非结构化RCT报告中手动提取比较性治疗效果数据所面临的耗时耗力问题，该问题对医学专家而言成本高昂。
• 提出一种新的端到端任务，整合从RCT摘要中识别临床实体（干预措施、对照组、结局指标）与关系抽取（报告结果）的处理流程。
• 开发并评估一种新方法——Extract, Link, Infer（ELI），该方法基于试验报告中结果表达的语言模式。
• 通过与专注于癌症药物再利用的非营利组织RebootRX合作，开展实地评估，检验系统的实际应用价值。
• 为未来临床证据提取研究提供一个新的弱监督训练数据集和一个直接监督的测试集。

提出的方法

• ELI模型采用模块化流水线：首先提取候选实体（干预措施、结局指标、对照组），然后通过共指消解与语义聚类技术，将文本中对同一实体的不同提及进行链接。
• 系统通过分析句子级上下文，特别是结论句中通常陈述研究发现的位置，推断每个ICO三元组（干预-对照-结局）的报告结果（如：有益、有害、无差异）。
• 该方法的动机源于观察发现，试验结果通常以间接方式表达，主干预措施仅在28%的情况下被明确提及，因此需要基于语言线索进行推理。
• 模型使用新构建的数据集进行训练与评估：一个大规模弱监督的训练集和一个经过人工标注的测试集，包含详尽的三元组级标注。
• 该方法通过在推理过程中融入领域特定的语言学洞见，优于纯数据驱动的联合模型（如DyGIE++）。
• 系统支持联合训练与模块化训练两种模式，便于通过消融研究分离监督类型与组件设计的影响。

实验结果

研究问题

• RQ1 基于语言学线索的模块化方法是否能在端到端临床证据提取任务中超越纯数据驱动的联合NLP模型？
• RQ2 Extract, Link, Infer（ELI）方法在识别和链接RCT摘要中异质性提及的治疗措施与结局指标方面效果如何？
• RQ3 在标准评估指标上较低的F1分数在多大程度上反映了临床决策支持中的真实世界实用性？
• RQ4 试验报告中的共指与间接指代模式如何影响证据抽取系统的性能？
• RQ5 一种专为端到端抽取ICO三元组及其报告结果而设计的系统，在如药物再利用等真实应用场景中是否具有实际应用价值？

主要发现

• ELI模型在所提出的临床证据抽取任务中，性能优于当前最先进的联合模型（如DyGIE++）。
• 与RebootRX合作的实地评估显示，在20篇文档的测试集中，召回率为80.0%，精确率为63.8%，表明尽管F1分数绝对值较低，但系统仍具实际应用价值。
• 报告结果的方向性错误占所有抽取错误的47.6%，凸显了结果推理中的关键挑战。
• 本研究引入了一个新的弱监督训练数据集和一个详尽标注三元组的直接监督测试集，未来将公开发布。
• 尽管F1分数绝对值较低，但领域专家认为模型输出对识别癌症药物再利用的候选药物具有实用价值。
• 结果表明，即使系统不完美，只要结合对试验报告语言与结构特征的深入理解，也能在证据综合中提供有意义的支持。