[论文解读] Towards Foundation Models and Few-Shot Parameter-Efficient Fine-Tuning for Volumetric Organ Segmentation

Julio Silva-Rodríguez, José Dolz+1 more|arXiv (Cornell University)|Mar 29, 2023

Radiomics and Machine Learning in Medical ImagingMedicine被引用 3

一句话总结

本文提出了一种新颖的少样本高效微调（FSEFT）框架，用于基于基础模型的体积分割，通过引入空间适配器模块和约束性归纳推理，实现在极少标注数据下的参数高效微调。该方法在减少参数更新的同时，提升了低数据临床场景下的鲁棒性，性能接近全监督微调。

ABSTRACT

The recent popularity of foundation models and the pre-train-and-adapt paradigm, where a large-scale model is transferred to downstream tasks, is gaining attention for volumetric medical image segmentation. However, current transfer learning strategies devoted to full fine-tuning for transfer learning may require significant resources and yield sub-optimal results when the labeled data of the target task is scarce. This makes its applicability in real clinical settings challenging since these institutions are usually constrained on data and computational resources to develop proprietary solutions. To address this challenge, we formalize Few-Shot Efficient Fine-Tuning (FSEFT), a novel and realistic scenario for adapting medical image segmentation foundation models. This setting considers the key role of both data- and parameter-efficiency during adaptation. Building on a foundation model pre-trained on open-access CT organ segmentation sources, we propose leveraging Parameter-Efficient Fine-Tuning and black-box Adapters to address such challenges. Furthermore, novel efficient adaptation methodologies are introduced in this work, which include Spatial black-box Adapters that are more appropriate for dense prediction tasks and constrained transductive inference, leveraging task-specific prior knowledge. Our comprehensive transfer learning experiments confirm the suitability of foundation models in medical image segmentation and unveil the limitations of popular fine-tuning strategies in few-shot scenarios.

研究动机与目标

• 为医学图像分割建立一个真实的少样本微调设置，考虑到临床限制导致标注数据稀缺。
• 解决标准微调在低数据场景下的局限性，包括过拟合和高计算成本。
• 开发一种专用于3D体积分割的参数高效微调策略，利用空间适配器和任务特定的归纳偏置。
• 在少样本条件下，评估所提方法在多种公开CT数据集上的有效性。

提出的方法

• 在预训练3D分割主干网络的层间插入空间适配器模块，专门针对密集预测任务（如器官分割）设计。
• 采用约束性归纳推理机制，在推理过程中引入解剖学先验（如器官比例约束），以提升少样本下的泛化能力。
• 采用预训练-适配范式，使用在BTCV数据集上预训练的基础模型，仅通过适配器参数进行微调。
• 应用混合训练-推理策略：适配器在少量标注样本上进行训练，推理过程则通过器官形态学先验知识进行正则化。
• 仅优化适配器参数，保持主干网络权重冻结，显著降低内存与计算需求。
• 在多个公开CT数据集上采用多数据集评估协议，评估零样本与少样本迁移能力。

实验结果

研究问题

• RQ1 当仅使用少量标注样本（如1–5个）时，标准微调方法在新器官分割任务中能否有效泛化？
• RQ2 在3D医学图像分割的低数据场景下，参数高效微调策略与全量微调相比表现如何？
• RQ3 与标准适配器模块相比，空间适配器在密集预测任务中能多大程度上提升性能？
• RQ4 通过约束性归纳推理引入解剖学先验，是否能增强少样本设置下的分割精度？
• RQ5 在多样化数据集上预训练的基础模型，能否在极少标注数据下被有效适配至新临床任务？

主要发现

• 标准微调方法在少样本场景下性能显著下降，当仅使用1–5个标注样本时，Dice分数在某些情况下低于0.5。
• 所提出的空间适配器模块相比标准适配器，将平均Dice分数提升最高达0.012，尤其在肝脏和胰腺等复杂形状器官上表现更优。
• 约束性归纳推理进一步提升性能，在5-shot设置下Dice分数最高提升0.016，尤其在小尺寸或不规则形状器官上效果显著。
• 完整框架（适配器 + 归纳推理）在10-shot设置下达到0.783的平均Dice分数，接近全微调性能（0.787），同时仅更新0.04%的参数。
• 在线性探测和标准适配器在低数据场景下表现欠佳，线性探测在10-shot下仅达0.771的平均Dice，凸显对更强大表达能力适配机制的需求。
• 该方法在多种CT数据集间泛化良好，即使在适配新器官和成像协议时，仍持续优于强基线模型。