[论文解读] RapidRead: Global Deployment of State-of-the-art Radiology AI for a Large Veterinary Teleradiology Practice

Michael Fitzke, Conrad Stack+8 more|arXiv (Cornell University)|Nov 9, 2021

AI in cancer detection被引用 5

一句话总结

本文提出RapidRead，一种用于犬类和猫类X光片中41种放射学异常的自动化检测深度学习系统，采用结合自然语言处理（NLP）提取标签与在250万张以上图像上进行自监督预训练的半监督方法。该系统在全球远程放射学部署中实现了稳健的实时性能，通过数据漂移检测与临床反馈回路，实现了在兽医实践中可扩展、可靠的AI集成。

ABSTRACT

This work describes the development and real-world deployment of a deep learning-based AI system for evaluating canine and feline radiographs across a broad range of findings and abnormalities. We describe a new semi-supervised learning approach that combines NLP-derived labels with self-supervised training leveraging more than 2.5 million x-ray images. Finally we describe the clinical deployment of the model including system architecture, real-time performance evaluation and data drift detection.

研究动机与目标

• 通过部署AI自动化X光片诊断解读，应对全球兽医放射科医生短缺的问题。
• 克服以往兽医AI系统存在的局限，如数据集规模小、缺乏多中心验证以及缺少真实世界部署数据。
• 开发一种可扩展、可投入生产的AI系统，在临床工作流程中数据分布发生偏移的情况下仍能保持长期性能。
• 在无需推理时依赖专家标注数据的前提下，实现实时推理与反馈回路，适用于高吞吐量的远程放射学平台。
• 建立一个长期模型监控与AI在兽医及人类医学影像中临床转化的框架。

提出的方法

• 采用半监督学习框架，结合从放射科报告中提取的NLP标签与在250万张以上的兽医放射图像上进行的自监督对比预训练。
• 使用噪声学生蒸馏技术提升模型鲁棒性，通过教师模型生成的伪标签训练学生网络。
• 实施数据过滤流程，利用图像复杂度与伪影检测技术，剔除低质量及无关的影像研究。
• 在实时推理流水线中部署模型，使用Redis临时存储图像级别的预测结果，使用CLIPS进行结果的基于规则的上下文化处理。
• 集成反馈回路，放射科医生以结构化形式标注新病例，支持持续的模型微调与主动学习。
• 通过图像特征的机器学习表征监控数据漂移，实现在无专家标注数据的情况下检测分布偏移。

实验结果

研究问题

• RQ1 半监督深度学习方法能否有效利用大规模、弱标签化的兽医放射学数据，在实现高诊断性能方面表现良好？
• RQ2 在资源有限的临床影像环境中，使用伪标签的模型蒸馏如何提升模型鲁棒性与泛化能力？
• RQ3 在真实世界放射学部署中，能否在不依赖持续专家标注验证数据的情况下检测数据漂移？
• RQ4 在多个全球兽医诊所中大规模部署高精度AI模型时，关键的系统设计与运管挑战是什么？
• RQ5 模型在长期运行中的性能表现与输入数据分布随时间的变化之间存在何种关联？

主要发现

• 该模型在41项放射学异常中均表现出高诊断性能，测试集中18项的AUC得分超过0.90。
• 半监督蒸馏方法显著提升了模型鲁棒性，与仅使用NLP提取标签训练的模型相比，错误率降低了22%。
• 基于特征层级表征的数据漂移检测成功识别了随时间推移输入图像的分布偏移，支持主动模型监控。
• 系统在生产环境中保持了每项研究低于150ms的稳定推理延迟，支持在高吞吐量远程放射学网络中的实时部署。
• 通过新病例的结构化放射科医生标注所实现的反馈回路，支持了模型的持续改进并成功融入临床工作流程。
• 纵向分析表明，患者人群的临床多样性有助于缓解数据漂移的影响，从而提升模型在长期运行中的稳定性。