[论文解读] Zero-shot information extraction from radiological reports using ChatGPT

Danqing Hu, Bing Liu+3 more|arXiv (Cornell University)|Sep 4, 2023

Topic ModelingComputer Science被引用 3

一句话总结

本研究提出了一种零样本信息抽取框架，利用ChatGPT从放射科报告中提取结构化临床信息，无需标注数据或模型微调。通过设计提示模板并应用后处理，ChatGPT在肿瘤位置和大小等简单信息抽取任务上表现出色，但在肿瘤密度和淋巴结状态等复杂查询上因推理和一致性限制而表现不佳。

ABSTRACT

Electronic health records contain an enormous amount of valuable information, but many are recorded in free text. Information extraction is the strategy to transform the sequence of characters into structured data, which can be employed for secondary analysis. However, the traditional information extraction components, such as named entity recognition and relation extraction, require annotated data to optimize the model parameters, which has become one of the major bottlenecks in building information extraction systems. With the large language models achieving good performances on various downstream NLP tasks without parameter tuning, it becomes possible to use large language models for zero-shot information extraction. In this study, we aim to explore whether the most popular large language model, ChatGPT, can extract useful information from the radiological reports. We first design the prompt template for the interested information in the CT reports. Then, we generate the prompts by combining the prompt template with the CT reports as the inputs of ChatGPT to obtain the responses. A post-processing module is developed to transform the responses into structured extraction results. We conducted the experiments with 847 CT reports collected from Peking University Cancer Hospital. The experimental results indicate that ChatGPT can achieve competitive performances for some extraction tasks compared with the baseline information extraction system, but some limitations need to be further improved.

研究动机与目标

• 探究类似ChatGPT的大语言模型是否能在无需标注数据或微调的情况下，对放射科报告执行零样本信息抽取。
• 通过利用大语言模型的零样本能力，解决传统信息抽取系统中数据标注的瓶颈问题。
• 设计有效的提示模板，引导ChatGPT从自由文本的CT报告中提取结构化的临床实体。
• 在真实世界的肺癌CT报告上，评估ChatGPT与基线信息抽取系统在性能上的差异。
• 识别ChatGPT在临床部署中推理能力、输出一致性及隐私处理方面的局限性。

提出的方法

• 为关键放射学实体（如肿瘤位置、大小、毛刺征象和淋巴结状态）设计特定任务的提示模板。
• 通过将模板与实际CT报告结合生成输入提示，以引导ChatGPT生成响应。
• 应用后处理模块，将模型输出转换为标准化的结构化抽取结果。
• 使用来自北京大学肿瘤医院的847份真实CT报告进行评估。
• 采用标注者间一致性分析和输出一致性分析，评估ChatGPT输出的可靠性。
• 在提示中加入额外指令，以提升在模糊或复杂查询上的准确性。

实验结果

研究问题

• RQ1 ChatGPT能否在高准确率和高可靠性下，对放射科报告执行零样本信息抽取？
• RQ2 在临床相关实体上，ChatGPT的性能与基于传统机器学习的IE系统相比如何？
• RQ3 ChatGPT在提取肿瘤密度和淋巴结状态等复杂放射学概念时的主要失败模式是什么？
• RQ4 ChatGPT对同一输入在多次推理运行中的输出一致性如何？
• RQ5 提示工程能否提升ChatGPT在临床信息抽取中的准确性并减少幻觉现象？

主要发现

• 对于肿瘤位置、长径和短径以及胸膜侵犯等简单信息抽取任务，ChatGPT表现出色，具有高一致性和低错误率。
• 在肿瘤密度和淋巴结状态等复杂查询上，尽管增加了提示指令，ChatGPT仍表现出显著局限性，常产生不一致或错误的响应。
• 模型频繁将相似术语误分类——例如将“条索状”误认为“毛刺征象”，或将“胸膜增厚”误认为“胸膜侵犯”，表明在语义区分上存在挑战。
• 同一提示在多次推理运行中输出不一致，引发了对可靠性和可复现性的担忧。
• ChatGPT难以识别同义临床术语（如“叶间裂”与“叶间胸膜”），凸显其在医学术语理解上的推理缺陷。
• 研究发现，将原始临床数据发送至外部大语言模型存在隐私风险，建议采用本地化部署的小型化、本地化大语言模型。