[论文解读] RadGPT: Constructing 3D Image-Text Tumor Datasets

Pedro R. A. S. Bassi, Mehmet Can Yavuz+8 more|arXiv (Cornell University)|Jan 8, 2025

Radiomics and Machine Learning in Medical Imaging被引用 3

一句话总结

RadGPT 创造 AbdomenAtlas 3.0，这是一个包含逐体素肿瘤注释与报告的大型三维腹部 CT 图像文本数据集，并提出一个解剖结构感知的视觉-语言代理，能够从 CT 扫描生成结构化、叙述性和融合报告。

ABSTRACT

With over 85 million CT scans performed annually in the United States, creating tumor-related reports is a challenging and time-consuming task for radiologists. To address this need, we present RadGPT, an Anatomy-Aware Vision-Language AI Agent for generating detailed reports from CT scans. RadGPT first segments tumors, including benign cysts and malignant tumors, and their surrounding anatomical structures, then transforms this information into both structured reports and narrative reports. These reports provide tumor size, shape, location, attenuation, volume, and interactions with surrounding blood vessels and organs. Extensive evaluation on unseen hospitals shows that RadGPT can produce accurate reports, with high sensitivity/specificity for small tumor (<2 cm) detection: 80/73% for liver tumors, 92/78% for kidney tumors, and 77/77% for pancreatic tumors. For large tumors, sensitivity ranges from 89% to 97%. The results significantly surpass the state-of-the-art in abdominal CT report generation. RadGPT generated reports for 17 public datasets. Through radiologist review and refinement, we have ensured the reports' accuracy, and created the first publicly available image-text 3D medical dataset, comprising over 1.8 million text tokens and 2.7 million images from 9,262 CT scans, including 2,947 tumor scans/reports of 8,562 tumor instances. Our reports can: (1) localize tumors in eight liver sub-segments and three pancreatic sub-segments annotated per-voxel; (2) determine pancreatic tumor stage (T1-T4) in 260 reports; and (3) present individual analyses of multiple tumors--rare in human-made reports. Importantly, 948 of the reports are for early-stage tumors.

研究动机与目标

• 解决公开可获得的腹部 CT 数据集缺乏逐体素肿瘤注释与真实放射科报告的问题。
• 开发 RadGPT，一种解剖感知的视觉-语言代理，从 CT 扫描生成详细的结构化与叙述性报告。
• 创建 AbdomenAtlas 3.0，第一个在三维 CT 中提供逐体素肿瘤注释、器官子分割和胰腺癌分期的公开数据集。
• 实现能够与放射科医生模板和机构风格对齐的自动化报告生成，并提供诊断评估指标。
• 提供基准和框架，用于肿瘤定位、测量、分期，以及结构化与人工报告的融合。

提出的方法

• 阶段I：使用 DiffTumor 和 nnU-Net 进行肿瘤和 26 个解剖结构的分割，并由放射科医生进行 Refinement。
• 阶段II：通过确定性规则算法，根据分割结果和导出的测量（大小、体积、衰减）填充放射科模板，生成结构化报告。
• 阶段III：通过与目标医院提示集的上下文学习，对结构化报告进行目标机构叙述风格的适应。
• 通过对零样本大语言模型进行提示，将结构化报告与临床笔记融合成综合的融合报告。
• 对 AI 制作的报告进行诊断性评估，使用一个 LLM 提取肿瘤的存在/不存在并计算敏感性/特异性，从而实现临床有意义的评估。
• 通过测量肿瘤与血管（ SMA、CHA、CA、门静脉）的相互作用并进行确定性血管-肿瘤分析，来实现胰腺癌分期的能力。

实验结果

研究问题

• RQ1 RadGPT 是否能够从逐体素腹部 CT 肿瘤注释中生成准确且可适配机构的结构化与叙述性报告？
• RQ2 基于分割驱动的报告生成方法在肿瘤检测与分期方面是否优于端到端的腹部 CT 报告模型？
• RQ3 如何使用超越文本相似度的临床有意义指标来评估 AI 制作的放射科报告？
• RQ4 AbdomenAtlas 3.0 提供逐体素胰腺子分割、胰周血管以及 PDAC 分期在公共数据集中的价值在哪？

主要发现

• RadGPT 在肝癌、胰腺、肾癌及肝转移等大/小肿瘤的检测上，优于端到端的腹部 CT 报告模型。
• Fully automated RadGPT 报告在肿瘤检测方面具有更高的灵敏度，特异性与 M3D 与 CT2Rep 基线相比相当或更好。
• AbdomenAtlas 3.0 提供 9,262 份含逐体素肿瘤注释的 CT 扫描，覆盖三种器官，并包含胰腺子分割和 PDAC 分期。
• RadGPT 实现了自动 PDAC T-阶段的判定，并提供逐体素器官和血管注释以支持分期。
• 放射科医师评估显示 RadGPT 在评估病例中的肿瘤检测精度为 75.6%，肿瘤大小测量准确度为 93.8%。