[论文解读] Ophtha-LLaMA2: A Large Language Model for Ophthalmology

Huan Zhao, Ling Qian+15 more|arXiv (Cornell University)|Dec 8, 2023

Artificial Intelligence in Healthcare and Education被引用 7

一句话总结

Ophtha-LLaMA2 是一个针对眼科诊断微调的大规模语言模型，基于多模态眼科报告数据进行训练，以提高诊断的准确性和效率。尽管微调数据集较小，其在眼科任务上的表现仍优于通用大语言模型，展现出在眼病临床决策支持方面的强大性能。

ABSTRACT

In recent years, pre-trained large language models (LLMs) have achieved tremendous success in the field of Natural Language Processing (NLP). Prior studies have primarily focused on general and generic domains, with relatively less research on specialized LLMs in the medical field. The specialization and high accuracy requirements for diagnosis in the medical field, as well as the challenges in collecting large-scale data, have constrained the application and development of LLMs in medical scenarios. In the field of ophthalmology, clinical diagnosis mainly relies on doctors' interpretation of reports and making diagnostic decisions. In order to take advantage of LLMs to provide decision support for doctors, we collected three modalities of ophthalmic report data and fine-tuned the LLaMA2 model, successfully constructing an LLM termed the "Ophtha-LLaMA2" specifically tailored for ophthalmic disease diagnosis. Inference test results show that even with a smaller fine-tuning dataset, Ophtha-LLaMA2 performs significantly better in ophthalmic diagnosis compared to other LLMs. It demonstrates that the Ophtha-LLaMA2 exhibits satisfying accuracy and efficiency in ophthalmic disease diagnosis, making it a valuable tool for ophthalmologists to provide improved diagnostic support for patients. This research provides a useful reference for the application of LLMs in the field of ophthalmology, while showcasing the immense potential and prospects in this domain.

研究动机与目标

• 为解决眼科领域缺乏专用大型语言模型的问题，因临床诊断严重依赖报告解读。
• 通过在领域特定数据上微调大型语言模型，提升眼科诊断的准确性和效率。
• 通过在最新、经筛选的眼科报告上进行预训练，减少大型语言模型中的幻觉和知识空白。
• 为眼科医生提供一种临床可用、可靠的工具，以支持诊断决策。
• 为未来将多模态数据（例如医学影像）和临床记录整合到基于大型语言模型的诊断系统中奠定基础。

提出的方法

• 在涵盖临床报告、影像学发现和诊断摘要三种眼科报告模态的精选数据集上，对 LLaMA2 基础模型进行微调。
• 从多个临床机构收集并处理大规模、领域特定的眼科报告数据集，以确保诊断的相关性和多样性。
• 应用提示工程和指令微调，使模型输出与临床诊断推理和术语保持一致。
• 通过自动指标（如 Rouge）和临床相关性评估来评估模型性能，同时承认 Rouge 指标在复杂医学诊断评估中的局限性。
• 采用多阶段训练策略，以增强泛化能力并减少诊断输出中的幻觉。
• 通过匿名化患者标识符并确保符合临床数据保护标准，专注于隐私保护的数据处理。

实验结果

研究问题

• RQ1 微调后的大型语言模型是否能在眼科诊断中表现优于通用大语言模型？
• RQ2 在专业医学领域中，有限的微调数据对模型性能有何影响？
• RQ3 大型语言模型在多大程度上能准确解读和生成基于文本报告的临床相关眼科诊断？
• RQ4 标准 NLP 指标（如 Rouge）在评估医学诊断推理方面存在哪些局限性？
• RQ5 如何通过整合多模态和临床数据进一步提升眼科领域诊断用大型语言模型的性能？

主要发现

• Ophtha-LLaMA2 在眼科报告上的诊断性能显著优于通用大语言模型，即使微调数据集较小。
• 该模型在从临床报告中识别各种眼科疾病和异常方面实现了高准确率和高效率。
• 在领域特定的眼科数据上进行微调，减少了幻觉现象，并提高了与临床诊断标准的一致性。
• 本研究凸显了 Rouge 指标在评估医学诊断时的局限性，特别是因其依赖文本相似性而非临床推理或多模态输入。
• Ophtha-LLaMA2 展现出作为眼科医生临床决策支持工具的强劲潜力，可提升诊断的一致性和速度。
• 未来工作应聚焦于整合多模态数据（如视网膜图像）和临床记录，以进一步提升诊断准确性和个性化水平。