[论文解读] PathFinder: A Multi-Modal Multi-Agent System for Medical Diagnostic Decision-Making Applied to Histopathology

Fatemeh Ghezloo, Mehmet Saygın Seyfioğlu+7 more|ArXiv.org|Feb 13, 2025

Biomedical Text Mining and Ontologies被引用 5

一句话总结

PathFinder 是一个四代理框架，模仿病理学家在病理组织切片诊断中的决策过程，在黑色素瘤分类方面达到最先进的准确率，同时提供自然语言解释。

ABSTRACT

Diagnosing diseases through histopathology whole slide images (WSIs) is fundamental in modern pathology but is challenged by the gigapixel scale and complexity of WSIs. Trained histopathologists overcome this challenge by navigating the WSI, looking for relevant patches, taking notes, and compiling them to produce a final holistic diagnostic. Traditional AI approaches, such as multiple instance learning and transformer-based models, fail short of such a holistic, iterative, multi-scale diagnostic procedure, limiting their adoption in the real-world. We introduce PathFinder, a multi-modal, multi-agent framework that emulates the decision-making process of expert pathologists. PathFinder integrates four AI agents, the Triage Agent, Navigation Agent, Description Agent, and Diagnosis Agent, that collaboratively navigate WSIs, gather evidence, and provide comprehensive diagnoses with natural language explanations. The Triage Agent classifies the WSI as benign or risky; if risky, the Navigation and Description Agents iteratively focus on significant regions, generating importance maps and descriptive insights of sampled patches. Finally, the Diagnosis Agent synthesizes the findings to determine the patient's diagnostic classification. Our Experiments show that PathFinder outperforms state-of-the-art methods in skin melanoma diagnosis by 8% while offering inherent explainability through natural language descriptions of diagnostically relevant patches. Qualitative analysis by pathologists shows that the Description Agent's outputs are of high quality and comparable to GPT-4o. PathFinder is also the first AI-based system to surpass the average performance of pathologists in this challenging melanoma classification task by 9%, setting a new record for efficient, accurate, and interpretable AI-assisted diagnostics in pathology. Data, code and models available at https://pathfinder-dx.github.io/

研究动机与目标

• 在千亿像素尺度上推动高效、整体的病理诊断。
• 提出一个四代理系统（Triage、Navigation、Description、Diagnosis）以模拟病理学家的工作流程。
• 通过对补丁及发现的自然语言描述实现可解释的诊断。
• 在 M-Path 黑色素瘤数据集上证明诊断准确率优于最新方法和人类平均水平。

提出的方法

• 将 WSIs 分割为 512x512 的补丁；使用 Quilt-Net 提取补丁特征。
• Triage Agent：基于 Transformer 的分类器，用于将良性与高风险的 WSIs 区分开。
• Navigation Agent：迭代生成一个文本条件的重要性图，以选择用于描述的补丁。
• Description Agent：对 Quilt-LLaVA 进行微调，以生成简明的补丁描述。
• Diagnosis Agent：带分类头的 LLM，在补丁描述轨迹上用 LoRA 训练。
• 与基线的主要评估包括对导航和描述策略进行变化的消融实验。

实验结果

研究问题

• RQ1 多代理、多模态框架能否在 WSI 黑色素瘤分类任务中胜过单模型方法？
• RQ2 带有补丁描述的迭代、文本条件导航是否能提升诊断准确性和可解释性？
• RQ3 描述质量和代理协调性如何影响最终诊断和可解释性？
• RQ4 Triage 步骤对整体系统性能的贡献是什么？

主要发现

• PathFinder 在 M-Path 黑色素瘤诊断任务中达到 74% 的准确率，超过人类专家（65%）和最佳基线（66%）。
• PathFinder 在某些配置下达到 74% 的准确率，消融实验显示迭代、文本条件导航相对于非迭代或纯基于图像的方法的重要性。
• Description Agent 提供的人类可读的补丁描述质量可与 GPT-4o 相媲美，同时使用更小的模型（7B）。
• 定性病理学家评估表明 Description Agent 的描述质量很高，支持可解释性。
• PathFinder 的方法在该任务上的表现也比病理学家的平均水平高出 9%，并且是在 M-Path 数据集的黑色素瘤分类中第一个达到此成就的 AI 系统。