[论文解读] The Impact of AI Assistance on Radiology Reporting: A Pilot Study Using Simulated AI Draft Reports

Julián Acosta, Siddhant Dogra+5 more|arXiv (Cornell University)|Dec 16, 2024

Artificial Intelligence in Healthcare and EducationMedicine被引用 3

一句话总结

本试点研究评估了在20例胸部CT扫描中使用模拟GPT-4生成的草稿报告进行AI辅助放射科报告的效果。使用AI草稿的放射科医生将平均报告时间减少了24%（从573秒降至435秒，p=0.003），且未导致临床上显著错误的显著增加，表明AI草稿可在保持诊断准确性的同时提升真实工作流程中的效率。

ABSTRACT

Radiologists face increasing workload pressures amid growing imaging volumes, creating risks of burnout and delayed reporting times. While artificial intelligence (AI) based automated radiology report generation shows promise for reporting workflow optimization, evidence of its real-world impact on clinical accuracy and efficiency remains limited. This study evaluated the effect of draft reports on radiology reporting workflows by conducting a three reader multi-case study comparing standard versus AI-assisted reporting workflows. In both workflows, radiologists reviewed the cases and modified either a standard template (standard workflow) or an AI-generated draft report (AI-assisted workflow) to create the final report. For controlled evaluation, we used GPT-4 to generate simulated AI drafts and deliberately introduced 1-3 errors in half the cases to mimic real AI system performance. The AI-assisted workflow significantly reduced average reporting time from 573 to 435 seconds (p=0.003), without a statistically significant difference in clinically significant errors between workflows. These findings suggest that AI-generated drafts can meaningfully accelerate radiology reporting while maintaining diagnostic accuracy, offering a practical solution to address mounting workload challenges in clinical practice.

研究动机与目标

• 评估AI生成的草稿报告在真实工作流程模拟中对放射科报告效率和诊断准确性的影响。
• 评估放射科医生在使用包含1–3个故意错误的AI草稿时，是否能保持诊断准确性，以模拟真实AI系统的局限性。
• 研究放射科医生在将AI辅助报告整合到其临床工作流程时的认知负荷和可用性感知。
• 识别个体在应对AI辅助方面的差异，特别是与经验水平和工作流程偏好相关的差异。
• 提供初步证据，支持AI辅助报告在减轻放射科医生工作负担和职业倦怠方面的可行性和优势。

提出的方法

• 采用三名阅片医生、多病例交叉设计，使用来自CT-RATE数据集的20例胸部CT扫描，按年龄、性别和复杂性指标进行匹配。
• 使用GPT-4生成模拟AI草稿报告，应用标准负面模板，并在一半病例中注入1–3个临床相关的错误，以模拟真实AI性能。
• 开发自定义Web平台，基于Flask、PostgreSQL以及JavaScript/CSS技术，托管阅片工作流程，包括工作列表和报告编辑界面。
• 采用交叉设计，每位放射科医生在标准模板基底和AI辅助报告工作流程之间交替进行，以控制顺序效应和个体差异。
• 通过调查收集报告时间、临床上显著错误以及用户感知数据，调查内容涵盖可用性、心理努力程度和推荐意愿。
• 对标准工作流程与AI辅助工作流程之间的报告时间与错误率进行统计分析，并按错误数量进行亚组分析。

Figure 1 : Study overview. (A) Reader assignment and crossover between AI-assisted and unassisted workflows. (B) Unassisted workflow using standard template. (C) AI-assisted workflow with pre-generated drafts.

实验结果

研究问题

• RQ1 在模拟临床工作流程中，与基于标准模板的报告相比，AI辅助报告是否能减少放射科报告时间？
• RQ2 在草稿报告中存在故意生成的AI错误时，是否会导致临床上显著诊断错误的统计学上显著增加？
• RQ3 与使用标准模板相比，放射科医生如何感知AI辅助报告的可用性和认知负荷？
• RQ4 放射科医生的经验水平或工作流程风格的个体差异在多大程度上影响AI辅助带来的效率和准确性提升？
• RQ5 AI草稿质量（例如，错误频率）与放射科医生检测和纠正错误的表现之间存在何种关系？

主要发现

• AI辅助工作流程将平均报告时间从573秒减少至435秒，降幅达24%（p=0.003）。
• 标准模板工作流程（平均值0.38，标准差0.78）与AI草稿工作流程（平均值0.27，标准差0.52）之间在临床上显著错误方面无统计学显著差异。
• 三位阅片医生均表示AI辅助系统易于使用，且一致认为其可良好融入临床工作流程。
• 三位医生中有两位报告称AI辅助降低了心理努力，其中一人报告显著降低。
• 推荐评分分别为5、9和10（满分10分），表明尽管可用性反馈强烈，但热情程度不一。
• 探索性亚组分析显示，AI草稿中是否包含人为引入的错误，其错误率无显著差异，表明放射科医生能有效检测并纠正缺陷。

Figure 2 : Reporting platform. Top: normal negative template case. Bottom: AI-drafted case.