[论文解读] Self-Supervised Similarity Learning for Digital Pathology

Jacob Gildenblat, Eldad Klaiman|arXiv (Cornell University)|May 20, 2019

AI in cancer detection参考文献 17被引用 33

一句话总结

本文提出了一种自监督的 Siamese 网络，利用整卷图像的空间连续性来学习数字病理的 128 维描述符，在 Camelyon16 上比基于 ImageNet 的方法和其他自监督方法表现更好。

ABSTRACT

Using features extracted from networks pretrained on ImageNet is a common practice in applications of deep learning for digital pathology. However it presents the downside of missing domain specific image information. In digital pathology, supervised training data is expensive and difficult to collect. We propose a self-supervised method for feature extraction by similarity learning on whole slide images (WSI) that is simple to implement and allows creation of robust and compact image descriptors. We train a siamese network, exploiting image spatial continuity and assuming spatially adjacent tiles in the image are more similar to each other than distant tiles. Our network outputs feature vectors of length 128, which allows dramatically lower memory storage and faster processing than networks pretrained on ImageNet. We apply the method on digital pathology WSIs from the Camelyon16 train set and assess and compare our method by measuring image retrieval of tumor tiles and descriptor pair distance ratio for distant/near tiles in the Camelyon16 test set. We show that our method yields better retrieval task results than existing ImageNet based and generic self-supervised feature extraction methods. To the best of our knowledge, this is also the first published method for self-supervised learning tailored for digital pathology.

研究动机与目标

• 为数字病理学中标注数据稀缺的领域特定特征提取提供动机。
• 利用整卷图像的固有空间连续性自动创建成对标签。
• 用对比损失训练一个 Siamese 网络，使输出为紧凑的 128 维描述符。
• 在 Camelyon16 上证明相对于基线的图像检索和描述符可分性有所提升。

提出的方法

• 从组织切片瓷砖对中构造成对，当在 2 mm 之内时标签为相似，在超出 10 mm 时标签为不相似。
• 使用对比损失训练一个 128-d 输出的 Siamese 网络：L_contrastive = (1-y)·||f1-f2||2 + y·max(0, m - ||f1-f2||2)。
• 在两条分支之间共享的改良的 ResNet-50 作为编码器。
• 在评估前以 LAB 空间的染色归一化对瓷砖进行归一化。
• 与 ImageNet 预训练的 ResNet-50 特征以及 NPID 自监督特征进行对比。
• 通过在 Camelyon16 上的图像检索和全局 ADDR 指标进行评估。

实验结果

研究问题

• RQ1 自监督的相似性学习是否能够在没有人工标签的情况下捕捉域特定的病理学特征？
• RQ2 使用空间连续性的基于描述符的方法是否在病理任务中优于 ImageNet 基于特征和现有的自监督方法？
• RQ3 在检索和基于距离的评估中，学习到的描述符将肿瘤与正常组织区分开来的能力如何？
• RQ4 学习到的描述符在大规模 WSI 分析中的维度和实际效率是多少？

主要发现

方法	全局 ADDR
ResNet-50 pretrained on ImageNet	1.38
Non-Parametric Instance Discrimination	1.28
本方法	1.5

• Global ADDR: ImageNet ResNet-50 = 1.38, NPID = 1.28, Ours = 1.50.
• 肿瘤瓷砖检索：ImageNet ResNet-50 = 26%, NPID = 21%, Ours = 34%.
• 我们的描述符在 UMAP 可视化中比基线产生了更紧凑的肿瘤嵌入。
• 我们的方法在跨切片的肿瘤瓷砖检索中表现更好，表明捕获了域特定特征。