[论文解读] PathAsst: A Generative Foundation AI Assistant Towards Artificial General Intelligence of Pathology

Yuxuan Sun, Chenglu Zhu+7 more|arXiv (Cornell University)|May 24, 2023

Data Mining Algorithms and Applications被引用 4

一句话总结

PathAsst 是一种专为病理学设计的生成式基础大模型助手，结合视觉编码器与大语言模型，以解释组织病理学图像并调用专门的子模型完成复杂任务（如细胞分类与检测）。通过利用14.2万份精心筛选的图文配对样本及18万条指令跟随样本，PathAsst 在诊断推理方面优于基线多模态大语言模型（MLLM），在临床场景中展现出先进的多模态推理能力。

ABSTRACT

As advances in large language models (LLMs) and multimodal techniques continue to mature, the development of general-purpose multimodal large language models (MLLMs) has surged, offering significant applications in interpreting natural images. However, the field of pathology has largely remained untapped, particularly in gathering high-quality data and designing comprehensive model frameworks. To bridge the gap in pathology MLLMs, we present PathAsst, a multimodal generative foundation AI assistant to revolutionize diagnostic and predictive analytics in pathology. The development of PathAsst involves three pivotal steps: data acquisition, CLIP model adaptation, and the training of PathAsst's multimodal generative capabilities. Firstly, we collect over 207K high-quality pathology image-text pairs from authoritative sources. Leveraging the advanced power of ChatGPT, we generate over 180K instruction-following samples. Furthermore, we devise additional instruction-following data specifically tailored for invoking eight pathology-specific sub-models we prepared, allowing the PathAsst to effectively collaborate with these models, enhancing its diagnostic ability. Secondly, by leveraging the collected data, we construct PathCLIP, a pathology-dedicated CLIP, to enhance PathAsst's capabilities in interpreting pathology images. Finally, we integrate PathCLIP with the Vicuna-13b and utilize pathology-specific instruction-tuning data to enhance the multimodal generation capacity of PathAsst and bolster its synergistic interactions with sub-models. The experimental results of PathAsst show the potential of harnessing AI-powered generative foundation model to improve pathology diagnosis and treatment processes.

研究动机与目标

• 为解决病理学领域缺乏多模态大语言模型（MLLM）的问题，开发一种能够理解并基于组织病理学图像进行推理的基础模型。
• 通过根据用户意图与图像内容动态调用专用子模型，提升病理学中的诊断与预测分析能力。
• 创建并发布一个高质量、开源的14.2万张病理学图像-文本配对数据集及18万条指令跟随样本，用于训练稳健的病理学专用AI模型。
• 通过开源数据收集工具与预处理流程，支持研究人员构建与微调属于自己的病理学基础模型。

提出的方法

• 从PubMed、病理学教科书、信誉良好的网站以及专家标注的私有数据中，经过严格清洗与优化，筛选出14.2万份高质量的病理学图像-文本配对样本。
• 利用GPT-4生成18万条指令跟随样本，用于训练基础模型，覆盖多样化的诊断与分析任务。
• 设计专用的指令跟随数据以支持模型调用，使PathAsst能够动态选择并使用八个任务特定的子模型（例如：LBC细胞生成器、PD-L1检测器）。
• 基于Vicuna-13B语言模型与CLIP视觉编码器（clip-vit-base-patch32）训练PathAsst，以实现多模态理解与推理能力。
• 开发了一套自动化管道，使用自定义脚本从PDF病理学书籍中提取图像-文本配对数据。
• 计划对超过20万张病理学样本微调多个CLIP变体（如vit-large-patch14-336），以提升特征提取性能。

实验结果

研究问题

• RQ1 生成式基础模型能否有效理解复杂组织病理学图像并生成具有临床意义的诊断见解？
• RQ2 与端到端多模态生成相比，动态调用专用子模型在病理学中如何提升诊断准确率与任务泛化能力？
• RQ3 高质量、精心筛选的数据在多大程度上能提升基础模型在病理学特定任务中的表现？
• RQ4 通过病理学专用提示进行指令微调，能否显著提升诊断推理中的零样本与少样本能力？

主要发现

• PathAsst 在识别组织病理学图像中如细胞核增大、核膜不规则等病理特征方面，优于基线MLLM（如LLaVA与MiniGPT-4）。
• 通过调用专用的LBC细胞生成模型，模型成功生成了LSIL类别中具有不规则胞浆的液基细胞学（LBC）细胞，展现出任务特定的适应能力。
• 在细胞计数任务中，PathAsst 正确调用了PD-L1细胞检测模型，标记出阳性细胞，并以Markdown格式输出结构化结果及准确统计数据。
• 模型基于图像内容进行推理并选择合适子模型的能力，使其诊断输出比单纯依赖多模态生成更准确、更具上下文相关性。
• 利用GPT-4生成的18万条指令跟随样本显著提升了模型对复杂、多步骤诊断指令的理解与执行能力。