[论文解读] Q-Net: Query-Informed Few-Shot Medical Image Segmentation

Qianqian Shen, Yanan Li+2 more|arXiv (Cornell University)|Aug 24, 2022

COVID-19 diagnosis using AI被引用 11

一句话总结

Q-Net 提出了一种查询感知的 few-shot 医学图像分割方法，通过动态调整阈值并利用查询图像特征优化原型，改进元学习，在腹部和心脏 MRI 数据集上显著优于 SOTA 方法，尤其在小器官分割任务中表现突出。

ABSTRACT

Deep learning has achieved tremendous success in computer vision, while medical image segmentation (MIS) remains a challenge, due to the scarcity of data annotations. Meta-learning techniques for few-shot segmentation (Meta-FSS) have been widely used to tackle this challenge, while they neglect possible distribution shifts between the query image and the support set. In contrast, an experienced clinician can perceive and address such shifts by borrowing information from the query image, then fine-tune or calibrate her prior cognitive model accordingly. Inspired by this, we propose Q-Net, a Query-informed Meta-FSS approach, which mimics in spirit the learning mechanism of an expert clinician. We build Q-Net based on ADNet, a recently proposed anomaly detection-inspired method. Specifically, we add two query-informed computation modules into ADNet, namely a query-informed threshold adaptation module and a query-informed prototype refinement module. Combining them with a dual-path extension of the feature extraction module, Q-Net achieves state-of-the-art performance on widely used abdominal and cardiac magnetic resonance (MR) image datasets. Our work sheds light on a novel way to improve Meta-FSS techniques by leveraging query information.

研究动机与目标

• 解决当前元学习方法忽略的支持集与查询图像之间分布差异的问题，以提升 few-shot 医学图像分割性能。
• 模拟专家放射科医生利用查询图像信息校准先验知识的能力，以提高分割精度。
• 在 SOTA 异常检测启发的 few-shot 分割模型 ADNet 的基础上，引入查询感知自适应机制以实现性能提升。
• 在推理过程中实现动态、自适应的阈值设定与原型优化，以更好地应对医学图像中的类别不平衡与外观差异。
• 在具有挑战性的腹部和心脏 MRI 数据集中，验证小器官分割任务中的卓越性能。

提出的方法

• 引入查询感知的阈值自适应模块，从查询特征中学习自适应阈值，替代 ADNet 中使用的固定阈值。
• 实现查询感知的原型优化模块，通过基于重建损失的梯度优化，迭代更新前景原型。
• 将两个模块整合到双路径特征提取架构中，以捕获支持图像和查询图像的多尺度特征。
• 利用查询特征与初始原型之间的负余弦相似度，生成初始分割掩码以供后续优化。
• 在元学习范式下训练特征编码器与阈值生成器，推理时保持其固定，仅激活原型优化模块。
• 应用迭代优化：用当前原型替换查询特征中的前景区域，计算交叉熵损失，并通过梯度下降更新原型。

实验结果

研究问题

• RQ1 查询感知的自适应机制是否能通过缓解支持图像与查询图像之间的分布差异，提升 few-shot 医学图像分割性能？
• RQ2 将查询图像信息融入阈值自适应与原型优化，对小器官或罕见器官的分割性能有何影响？
• RQ3 与单路径模型相比，所提出的双路径架构在 few-shot 医学图像分割中在特征表示方面提升了多少？
• RQ4 在真实世界的医学影像场景中，所提出的查询感知策略是否优于固定阈值与静态原型基线方法？
• RQ5 每个查询感知模块（阈值自适应与原型优化）对整体性能提升的贡献分别是什么？

主要发现

• Q-Net 在腹部和心脏 MRI 数据集上均达到 SOTA 性能，显著优于现有 SOTA 方法在 few-shot 分割任务中的表现。
• 查询感知的原型优化模块对性能提升的贡献大于阈值自适应模块，尤其在小器官分割任务中更为显著。
• 消融实验证实，两个查询感知模块均能独立提升分割精度，且双路径架构进一步增强了特征表示能力。
• 该方法对大外观差异与类别不平衡具有鲁棒性，尤其在小尺寸、低对比度器官中表现更优。
• 从查询图像中学习的自适应阈值能有效处理未见语义类别，并减少复杂背景区域的误报。
• 在肾上腺、十二指肠等罕见器官上，模型取得了优异的 Dice 分数，这些器官标注稀少，传统方法往往失效。