[论文解读] Scale-Aware Self-Supervised Learning for Segmentation of Small and Sparse Structures

Jorge Quesada, Ghassan AlRegib|arXiv (Cornell University)|Jan 26, 2026

Domain Adaptation and Few-Shot Learning被引用 0

一句话总结

该论文提出一种尺度感知的自监督学习策略，在预训练阶段裁剪小窗口以强调细尺度结构，从而在分割小型或稀疏目标（如地震断层和细胞结构）方面取得改进，同时对大型结构的收益有限。

ABSTRACT

Self-supervised learning (SSL) has emerged as a powerful strategy for representation learning under limited annotation regimes, yet its effectiveness remains highly sensitive to many factors, especially the nature of the target task. In segmentation, existing pipelines are typically tuned to large, homogeneous regions, but their performance drops when objects are small, sparse, or locally irregular. In this work, we propose a scale-aware SSL adaptation that integrates small-window cropping into the augmentation pipeline, zooming in on fine-scale structures during pretraining. We evaluate this approach across two domains with markedly different data modalities: seismic imaging, where the goal is to segment sparse faults, and neuroimaging, where the task is to delineate small cellular structures. In both settings, our method yields consistent improvements over standard and state-of-the-art baselines under label constraints, improving accuracy by up to 13% for fault segmentation and 5% for cell delineation. In contrast, large-scale features such as seismic facies or tissue regions see little benefit, underscoring that the value of SSL depends critically on the scale of the target objects. Our findings highlight the need to align SSL design with object size and sparsity, offering a general principle for buil ding more effective representation learning pipelines across scientific imaging domains.

研究动机与目标

• 在目标结构为小或稀疏而非大面积均质区域时，激发对SSL的兴趣。
• 提出在SSL预训练中进行小窗口裁剪的尺度感知增强。
• 在标签稀缺条件下，将该方法应用于地震断层分割和神经影像中的细胞/血管分割以验证。
• 展示尺度感知的SSL何时能转移到下游分割任务，何时不能（针对大结构任务）。

提出的方法

• 将小窗口裁剪嵌入SSL增强管道中，以 bias 编码器偏向局部特征。
• 使用两种裁剪策略：随机裁剪和邻近约束裁剪，以促进重叠与一致性。
• 保持与多种SSL家族的兼容性（对比学习、非对比学习、基于聚类的方法）。
• 在使用预训练编码器的补丁级分割设置中，用Dice损失微调解码器。
• 通过滑动窗口拼接进行推断，以获得完整切片的分割结果。

(a) Seismic and brain image slices

实验结果

研究问题

• RQ1 目标结构的尺度如何影响自监督表征在分割中的有效性？
• RQ2 在SSL预训练中嵌入小窗口裁剪是否能在跨领域提高对小型或稀疏目标的分割性能？
• RQ3 对于大尺度与小尺度分割任务，SSL的收益是否存在领域差异？
• RQ4 尺度感知的SSL与现有的多裁剪/裁片的SSL方法（如VICRegL）在小结构分割上的表现有何差异？

主要发现

• 尺度感知的SSL配合小裁剪在小型/稀疏目标上给出稳定的Dice增益（地震断层分割最多提升约13%，细胞神经影像最多约5%），相对于全局视图的SSL。
• 最小的裁剪（L/8）在细薄或紧凑结构上提供最强的增益。
• 大型结构任务（地震中的相位、神经影像中的轴突）收益有限甚至在较小裁剪下可能下降。
• 尺度感知裁剪在小结构分割上优于多裁剪VICRegL，表明对细尺度特征的偏置更强。
• 尺度感知的预训练由于输入分辨率和显存使用降低，速度可比全图SSL快多达3倍。

(b) Ground truth