[论文解读] Utilizing ChatGPT to Enhance Clinical Trial Enrollment

Georgios Peikos, Symeon Symeonidis+2 more|arXiv (Cornell University)|Jun 3, 2023

Topic Modeling被引用 4

一句话总结

本研究提出使用ChatGPT从非结构化临床笔记中提取患者特异性信息，并生成高质量的搜索查询，以识别符合条件的临床试验。该方法在检索性能上显著优于最先进的方法和人工生成的查询，展示了ChatGPT在自动化和提升临床试验招募方面的潜力，同时保护患者隐私。

ABSTRACT

Clinical trials are a critical component of evaluating the effectiveness of new medical interventions and driving advancements in medical research. Therefore, timely enrollment of patients is crucial to prevent delays or premature termination of trials. In this context, Electronic Health Records (EHRs) have emerged as a valuable tool for identifying and enrolling eligible participants. In this study, we propose an automated approach that leverages ChatGPT, a large language model, to extract patient-related information from unstructured clinical notes and generate search queries for retrieving potentially eligible clinical trials. Our empirical evaluation, conducted on two benchmark retrieval collections, shows improved retrieval performance compared to existing approaches when several general-purposed and task-specific prompts are used. Notably, ChatGPT-generated queries also outperform human-generated queries in terms of retrieval performance. These findings highlight the potential use of ChatGPT to enhance clinical trial enrollment while ensuring the quality of medical service and minimizing direct risks to patients.

研究动机与目标

• 为应对临床试验招募率低下的挑战，通过患者电子健康记录（EHR）数据自动化识别符合条件的试验。
• 利用类似ChatGPT的大语言模型，从非结构化临床笔记中提取有意义的结构化信息。
• 通过生成更具有效性和语义丰富性的查询，提升临床试验搜索的检索性能。
• 评估大语言模型生成的查询是否优于人工生成和最先进的AI生成查询。
• 在信息提取和查询生成过程中确保患者隐私和数据安全。

提出的方法

• 使用GPT-3.5模型（ChatGPT）处理非结构化临床笔记，提取与患者相关的关键信息，如疾病状况、人口统计学特征和家族史。
• 设计专门的提示策略，包括基于角色和任务特定的提示（例如IEMT），以增强信息提取和查询制定。
• 将提取的患者数据转化为简洁、语义明确的临床试验检索系统查询。
• 使用基准检索集合（如CLEF和TREC）通过标准检索指标（如MAP和P@10）评估查询的有效性。
• 应用BM25和RM3等检索模型，评估ChatGPT生成查询相对于基线的性能表现。
• 实施隐私保护措施，包括数据匿名化和遵守HIPAA，以确保患者机密性。

Figure 1: Combining ChatGPT with a negation classification model.

实验结果

研究问题

• RQ1 ChatGPT能否有效从非结构化临床笔记中提取相关患者信息，以支持临床试验搜索？
• RQ2 ChatGPT生成的查询在检索相关临床试验方面是否优于人工生成的查询？
• RQ3 ChatGPT生成查询的性能与最先进的基于AI的查询生成方法相比如何？
• RQ4 哪些提示策略能最大化使用大语言模型进行临床试验搜索时的检索性能？
• RQ5 大语言模型生成查询时存在幻觉、语义漂移和误解（如否定句错误）等风险，应如何缓解？

主要发现

• IEMT提示策略——即为ChatGPT分配特定领域角色并提供详细任务描述——在两个基准数据集上均显著提升了检索性能。
• ChatGPT生成的查询在均值平均精度（MAP）和P@10得分上均优于最先进的基于AI的查询生成方法。
• 在检索有效性方面，ChatGPT生成的查询优于人工生成的查询，表现出更强的语义丰富性和相关性。
• IEMT和IEMT+RM3配置在检索性能上表现出统计显著性提升，证实了结构化提示的价值。
• ChatGPT展现出强大的消歧能力，能正确理解临床笔记中的复杂医学术语和缩写。
• 尽管性能出色，当提示要求扩展回答时，模型偶尔会出现主题漂移，且对否定句存在误解，凸显了需进一步缓解的风险。