[论文解读] Prefer-DAS: Learning from Local Preferences and Sparse Prompts for Domain Adaptive Segmentation of Electron Microscopy

Jiabao Chen, Shan Xiong+1 more|arXiv (Cornell University)|Feb 23, 2026

Advanced Electron Microscopy Techniques and Applications被引用 0

一句话总结

Prefer-DAS 引入了一种可提示、偏好引导的领域自适应分割框架，用于 EM 图像，利用稀疏点提示、局部/全局人类偏好，以及自学习监督来提升跨领域线粒体分割，达到接近监督的性能。

ABSTRACT

Domain adaptive segmentation (DAS) is a promising paradigm for delineating intracellular structures from various large-scale electron microscopy (EM) without incurring extensive annotated data in each domain. However, the prevalent unsupervised domain adaptation (UDA) strategies often demonstrate limited and biased performance, which hinders their practical applications. In this study, we explore sparse points and local human preferences as weak labels in the target domain, thereby presenting a more realistic yet annotation-efficient setting. Specifically, we develop Prefer-DAS, which pioneers sparse promptable learning and local preference alignment. The Prefer-DAS is a promptable multitask model that integrates self-training and prompt-guided contrastive learning. Unlike SAM-like methods, the Prefer-DAS allows for the use of full, partial, and even no point prompts during both training and inference stages and thus enables interactive segmentation. Instead of using image-level human preference alignment for segmentation, we introduce Local direct Preference Optimization (LPO) and sparse LPO (SLPO), plug-and-play solutions for alignment with spatially varying human feedback or sparse feedback. To address potential missing feedback, we also introduce Unsupervised Preference Optimization (UPO), which leverages self-learned preferences. As a result, the Prefer-DAS model can effectively perform both weakly-supervised and unsupervised DAS, depending on the availability of points and human preferences. Comprehensive experiments on four challenging DAS tasks demonstrate that our model outperforms SAM-like methods as well as unsupervised and weakly-supervised DAS methods in both automatic and interactive segmentation modes, highlighting strong generalizability and flexibility. Additionally, the performance of our model is very close to or even exceeds that of supervised models.

研究动机与目标

• 在目标域标注有限的情况下，激发在多样化 EM 领域中对线粒体分割的准确性需求。
• 提出一个灵活的、可提示的多任务模型，支持自动与交互式分割。
• 引入局部和稀疏局部偏好学习，使模型输出与人类判断对齐。
• 发展无监督和自学习偏好机制，以处理缺失的人类反馈。
• 在多个 DAS 基准测试中展示对 UDA、WDA 及类似 SAM 的方法的强力表现。

提出的方法

• 提出 Prefer-DAS，一个具备图像编码器、点提示编码器、多任务解码器，以及分割头和中心点检测头的可提示多任务模型。
• 使用伪提示学习和平均教师自训练来利用带标签的源数据和未标注的目标数据。
• 结合提示引导的对比学习，以改善提示的判别特征表示。
• 引入局部直接偏好优化（LPO）和稀疏 LPO（SLPO），以使分割与空间变化的人类反馈对齐。
• 添加无监督偏好优化（UPO），在缺少人类反馈时从自生成的偏好中学习。
• 在推理阶段实现 UDA 和 WDA 两种模式，并且在推理时可进行全/部分/无点提示的交互分割。

实验结果

研究问题

• RQ1 局部和稀疏局部人类偏好如何在 EM 线粒体的领域自适应分割中提供提升？
• RQ2 一个可提示的模型，利用稀疏点和偏好学习，是否能在跨领域的 EM 分割中达到接近监督模型的性能？
• RQ3 LPO、SLPO、UPO 在缓解奖励设定错误和在域迁移下提升分割效果方面有多有效？
• RQ4 在弱监督下，整合提示引导的对比目标是否能提升分割嵌入的可辨别性？

主要发现

• Prefer-DAS 在自动分割和交互分割模式下，优于 SAM 类方法及以往的无监督/弱监督 DAS 方法。
• 该模型在 EM DAS 基准上达到或超过接近监督模型的性能。
• 局部与稀疏局部偏好，以及可提示学习，在域移位和标注预算下提供了有效的指导。
• LPO/SLPO 成功地使分割与具有空间差异的人类反馈对齐，降低标注工作量。
• UPO 在缺少人类反馈时实现无监督偏好优化，保持较强的性能。
• 该框架同时支持 UDA 和 WDA，并且在推理阶段允许可变提示进行交互分割。