[论文解读] SkinGEN: an Explainable Dermatology Diagnosis-to-Generation Framework with Interactive Vision-Language Models

Bo Lin, Yingjing Xu+4 more|arXiv (Cornell University)|Apr 23, 2024

Biomedical Text Mining and Ontologies被引用 4

一句话总结

SkinGEN 是一种新颖的交互式视觉-语言框架，通过使用 Stable Diffusion 和 LoRA 微调，从 VLM 预测中生成个性化、逼真的皮肤状况图像，显著提升了皮肤病学诊断的可解释性。与基线模型相比，该框架在用户信任度、理解力和感知可用性方面均有显著提升，展示了在皮肤病学应用中卓越的视觉可解释性。

ABSTRACT

With the continuous advancement of vision language models (VLMs) technology, remarkable research achievements have emerged in the dermatology field, the fourth most prevalent human disease category. However, despite these advancements, VLM still faces explainable problems to user in diagnosis due to the inherent complexity of dermatological conditions, existing tools offer relatively limited support for user comprehension. We propose SkinGEN, a diagnosis-to-generation framework that leverages the stable diffusion(SD) model to generate reference demonstrations from diagnosis results provided by VLM, thereby enhancing the visual explainability for users. Through extensive experiments with Low-Rank Adaptation (LoRA), we identify optimal strategies for skin condition image generation. We conduct a user study with 32 participants evaluating both the system performance and explainability. Results demonstrate that SkinGEN significantly improves users' comprehension of VLM predictions and fosters increased trust in the diagnostic process. This work paves the way for more transparent and user-centric VLM applications in dermatology and beyond.

研究动机与目标

• 为解决皮肤病学视觉-语言模型（VLM）缺乏视觉可解释性的问题，该问题限制了用户的理解和信任。
• 通过提供诊断和替代性皮肤状况的直观视觉演示，减少基于 VLM 的皮肤病学诊断中的幻觉和认知负荷。
• 开发一种以用户为中心的框架，将诊断与按需生成的个性化图像相结合，以提升临床可解释性。
• 评估视觉可解释性对用户感知、信任度和可用性在皮肤病学决策支持系统中的影响。
• 通过受控的图像生成，建立一种透明、交互式 VLM 应用在皮肤病学及其他领域的新范式。

提出的方法

• SkinGEN 采用两阶段流程：首先，VLM 分析用户上传的皮肤图像，并提供主要诊断及可能的鉴别诊断。
• 其次，系统生成受影响皮肤区域的掩码表示，以引导条件图像生成。
• 通过低秩适应（LoRA）和 IP-Adapter 微调，该框架控制 Stable Diffusion 生成高保真、逼真的诊断和替代性皮肤状况可视化图像。
• 生成的图像作为视觉解释，使用户能够比较症状并理解诊断推理过程。
• 用户交互通过基于聊天的界面实现，支持对诊断的澄清以及相似病症示例的检索。
• 通过一项包含 32 名参与者的用户研究对系统进行评估，比较 SkinGEN 与两种基线系统在信任度、理解力和认知努力方面的表现。

实验结果

研究问题

• RQ1 将视觉生成与基于 VLM 的皮肤病学诊断相结合，如何影响用户对系统的信任？
• RQ2 生成个性化视觉示例在多大程度上能提升用户对复杂皮肤病诊断的理解？
• RQ3 SkinGEN 在感知可用性和认知努力方面与基线系统相比如何？
• RQ4 哪些微调策略（例如 LoRA、IP-Adapter）能生成最真实且相关的皮肤病图像？
• RQ5 交互式、基于视觉-语言的图像生成能否增强 VLM 预测在皮肤病学中的可解释性？

主要发现

• 在用户研究中，SkinGEN 在感知信任度方面显著优于基线系统，用户认为其更具可信度（p < 0.05）。
• 用户认为 SkinGEN 的解释更易理解，所需认知努力低于纯 VLM 输出或基于案例的检索系统。
• 生成的皮肤病图像在感知真实度上的平均得分为 4.16（满分 5 分），表明具有高视觉保真度和用户接受度。
• 用户报告系统具有高度实用性，整体系统有用性的平均得分为 4.38，未来使用意愿的平均得分为 4.31。
• LoRA 与 IP-Adapter 的集成实现了稳定且可控的图像生成，优化的提示词和适配器配置取得了最佳效果。
• 该框架通过支持相似皮肤状况的视觉比较，有效减少了诊断模糊性，增强了用户信心和理解力。