[论文解读] RadGraph2: Modeling Disease Progression in Radiology Reports via Hierarchical Information Extraction

Sameer Khanna, Adam Dejl+5 more|arXiv (Cornell University)|Aug 9, 2023

Topic Modeling被引用 4

一句话总结

RadGraph2 通过一种分层模式从放射科报告中提取疾病进展和设备变更信息，利用改进的 DyGIE++ 模型（HGIE）增强信息抽取，该模型利用实体关系。该方法在联合实体与关系抽取任务中表现更优，尤其在变更检测方面优于先前模型，在包含 800 份专家标注和 220,913 份推断标注报告的扩展数据集上表现突出。

ABSTRACT

We present RadGraph2, a novel dataset for extracting information from radiology reports that focuses on capturing changes in disease state and device placement over time. We introduce a hierarchical schema that organizes entities based on their relationships and show that using this hierarchy during training improves the performance of an information extraction model. Specifically, we propose a modification to the DyGIE++ framework, resulting in our model HGIE, which outperforms previous models in entity and relation extraction tasks. We demonstrate that RadGraph2 enables models to capture a wider variety of findings and perform better at relation extraction compared to those trained on the original RadGraph dataset. Our work provides the foundation for developing automated systems that can track disease progression over time and develop information extraction models that leverage the natural hierarchy of labels in the medical domain.

研究动机与目标

• 为解决现有医学报告数据集中缺乏时间与上下文信息的问题，特别是关于疾病进展和设备变更的信息。
• 设计一种分层模式，以捕捉放射科报告中医学实体之间的自然关系。
• 通过在模型训练中引入结构化层次，提升信息抽取性能。
• 在 RadGraph 数据集中扩展临床相关实体，如既往发现、变化情况以及设备放置/移除信息。
• 使自动化系统能够基于放射科报告追踪患者随时间推移的疾病轨迹。

提出的方法

• 设计一种分层模式，根据自然关系与临床语义组织医学实体（如疾病、变化、设备）。
• 提出 HGIE 的两阶段训练流程：首先学习实体层次结构，随后执行联合实体与关系抽取。
• 修改 DyGIE++ 模型以引入分层监督，利用父子关系指导注意力机制与表征学习。
• 在 MIMIC-CXR 和 CheXpert 数据集中，结合 800 份专家标注与 220,913 份推断标注的放射科报告对 HGIE 进行训练。
• 在实体与关系抽取任务上评估模型性能，并通过消融实验分析分类法深度与结构的影响。
• 采用条件训练策略，利用分层结构提升泛化能力，尤其在低资源场景下表现更优。

实验结果

研究问题

• RQ1 分层模式是否能提升放射科报告中信息抽取模型的性能，特别是在检测随时间变化的变更方面？
• RQ2 在训练中引入实体层次结构后，与平面模式相比，联合实体与关系抽取性能是否得到改善？
• RQ3 分类法树的深度是否影响模型性能，特别是在标签稀疏的低资源设置下？
• RQ4 经修改的 DyGIE++ 模型（HGIE）是否能在放射科报告的疾病进展与设备追踪任务中超越先前的 SOTA 模型？
• RQ5 RadGraph2 模式在胸部 X 光以外的其他医学领域中是否具有良好的可泛化性？

主要发现

• HGIE 在实体抽取任务中取得 0.883 的 F1 值，在关系抽取任务中取得 0.861 的 F1 值（使用 PubMedBERT），优于先前模型。
• 深度为 2 的分类法训练出的模型优于深度为 3 的版本，可能是因为深层结构中稀疏的叶节点（如 CHAN-CON-RES）引入了更多噪声。
• 分层模式有效提升了对临床相关变更的捕捉能力，包括疾病进展与设备放置/移除，这些在原始 RadGraph 中并未涵盖。
• RadGraph2 数据集包含 800 份专家标注与 220,913 份推断标注报告，显著扩展了放射科报告中时间与上下文信息的覆盖范围。
• 两阶段训练流程有效利用了分层结构，提升了泛化能力与联合抽取任务的性能。
• 本研究证明，实体层次可作为可调节的超参数，最优深度取决于标签分布与数据可用性。