[论文解读] Self-Supervised ImageNet Representations for In Vivo Confocal Microscopy: Tortuosity Grading without Segmentation Maps

Kim Ouan, Noémie Moreau+1 more|arXiv (Cornell University)|Mar 16, 2026

Ocular Surface and Contact Lens被引用 0

一句话总结

论文表明自监督的 ImageNet 特征（DINO 变体）可以在没有分割图的情况下对体内共聚焦显微镜（IVCM）中的角膜神经缠度进行分级，并在微调后达到最新水平。

ABSTRACT

The tortuosity of corneal nerve fibers are used as indication for different diseases. Current state-of-the-art methods for grading the tortuosity heavily rely on expensive segmentation maps of these nerve fibers. In this paper, we demonstrate that self-supervised pretrained features from ImageNet are transferable to the domain of in vivo confocal microscopy. We show that DINO should not be disregarded as a deep learning model for medical imaging, although it was superseded by two later versions. After careful fine-tuning, DINO improves upon the state-of-the-art in terms of accuracy (84,25%) and sensitivity (77,97%). Our fine-tuned model focuses on the key morphological elements in grading without the use of segmentation maps.

研究动机与目标

• 展示 ImageNet 预训练的自监督特征向 IVCM 缠度分级的可迁移性。
• 在 CORN 数据集上对 DINO、DINOv2 和 DINOv3 表征进行线性探测评估。
• 对最佳性能的骨干网络进行微调，以在没有分割图的前提下最大化分级准确性和灵敏度。

提出的方法

• 使用带有四级缠度标签的 CORN1500 和 CORN-3 数据集。
• 通过在冻结的骨干网络上附加单个线性层并训练 100 个时期来评估线性探测。
• 选择表现最佳的 DINO 变体（DINO ViT-B）进行微调，部分冻结骨干网络并使用 AdamW 优化。
• 采用线性预热和余弦衰减调度进行微调，在单个 GPU 上应用早停。
• 将性能与依赖分割图的最先进方法进行对比。

实验结果

研究问题

• RQ1 自监督的 ImageNet 表征是否能在没有分割图的情况下实现 IVCM 的缠度分级？
• RQ2 哪种 DINO 版本和模型大小在缠度分类的线性探测中表现最佳？
• RQ3 对冻结骨干网络的 DINO 进行微调是否能将缠度分级提升到最先进水平？
• RQ4 得到的注意力图是否聚焦于解剖学上相关的神经纤维特征（分支点、曲率较高的片段）？

主要发现

• 冻结的 DINO 表征在 CORN-3 上实现了具有竞争力的线性探测性能，其中 DINO ViT-B/16 通常在各指标之间取得最佳平衡。
• 对 DINO ViT-B/16 进行微调在没有分割图的情况下达到最先进的结果：wAcc 84.25%、wSe 77.97%、wSp 84.81%（在 CORN-3 上）。
• 在这项任务的线性探测中，采用更大或更新骨干网络的 DINO 变体通常不及 DINO ViT-B/16。
• 微调后注意力图表明模型将注意力集中在与缠度相关的区域，如分支点和曲线段。
• 在 CORN-3-noD 上，微调的 DINO ViT-B/16 达到 wAcc 83.71%、wSe 75.88%、wSp 87.92%。