[论文解读] NegBio: a high-performance tool for negation and uncertainty detection in radiology reports

Yifan Peng, Xiaosong Wang+4 more|PubMed|Dec 16, 2017

Topic Modeling参考文献 26被引用 129

一句话总结

NegBio 是一个基于规则的工具，使用通用依赖和子图匹配来检测放射科报告中的否定和不确定性，在多个数据集上相比 NegEx 提升了准确率和F1。它支持开源使用并可推广到其他临床文本。

ABSTRACT

https://github.com/ncbi-nlp/NegBio.

研究动机与目标

• 通过准确识别被否定和不确定的发现，减少放射科报告信息提取中的误报。
• 利用通用依赖图定义鲁棒的句法模式用于否定/不确定性检测。
• 在多份放射学语料库和一般临床文本上评估性能，以评估鲁棒性和泛化能力。

提出的方法

• 利用 MetaMap 提取医学发现以获得14种常见放射学发现类型。
• 使用基于 BiLLiP 的解析器和 Stanford 转换器为句子构建通用依赖图（UDG）。
• 在 UDG 上定义否定/不确定性模式并执行子图匹配以确定范围和适用性。
• 使用 Semgrex 实现基于依存关系的规则，捕获跨距离和基于图的否定/不确定性模式。
• 在端到端提取与 gold standard 对比下评估 NegBio，并在多个数据集上与 NegEx 进行比较。

实验结果

研究问题

• RQ1 NegBio 是否能通过去除被否定/不确定的发现来提高对正向断言发现的提取的准确率和F1？
• RQ2 在放射学特定语料库与一般临床文本中，NegBio 相对于 NegEx 的表现如何？
• RQ3 这种句法、基于图的方法是否能很好地泛化到不同的放射科数据集以及非放射科的临床文本？
• RQ4 在整体系统性能中，包含不确定性检测的影响是什么？

主要发现

• 在 OpenI 和 ChestX-ray 上，与仅使用 MetaMap 及 MetaMap+NegEx 相比，结合 MetaMap 的情况下 NegBio 能显著提高正向发现提取的精确度和F1。
• 在 OpenI 上，NegBio 的 P=89.8，R=85.0，F=87.3，优于 NegEx (P=77.2, R=84.6, F=80.7) 和仅 MetaMap (P=13.8, R=85.7, F=23.8)。
• 在 ChestX-ray 上，NegBio 达到 P=94.4、R=94.4、F=94.4，优于 MetaMap+NegEx (P=82.8, R=95.5, F=88.7) 和仅 MetaMap (P=72.3, R=95.7, F=82.4)。
• NegBio 在 BioScope 的否定检测方面也优于 NegEx（P=96.1, R=95.7, F=95.9 对比 NegEx P=70.6, R=98.7, F=82.3）以及 PK（P=98.4, R=88.6, F=93.3 对比 NegEx P=95.1, R=91.2, F=93.1）。
• 不确定性检测有助于提升性能，禁用不确定性规则使 OpenI 的 F1 降低 7.4% 和 ChestX-ray 的 2.5%。
• NegBio 的基于图的、在 UDG 上的模式方法通过避免正则表达式系统常见的过长否定范围来实现更高的精确度，并提升跨数据集的泛化能力。