[论文解读] SimTriplet: Simple Triplet Representation Learning with a Single GPU

Quan Liu, Peter C. Louis+10 more|arXiv (Cornell University)|Mar 9, 2021

Domain Adaptation and Few-Shot Learning参考文献 25被引用 5

一句话总结

SimTriplet 提出了一种针对病理图像的简单三元组对比学习方法，通过将空间相邻的图像块作为正样本对，最大化样本内和样本间相似性，且无需负样本。在单张16GB GPU上使用混合精度训练，其性能相比监督学习高出10.58%，相比SimSiam高出2.13%，即使仅使用1%的标注数据。

ABSTRACT

Contrastive learning is a key technique of modern self-supervised learning. The broader accessibility of earlier approaches is hindered by the need of heavy computational resources (e.g., at least 8 GPUs or 32 TPU cores), which accommodate for large-scale negative samples or momentum. The more recent SimSiam approach addresses such key limitations via stop-gradient without momentum encoders. In medical image analysis, multiple instances can be achieved from the same patient or tissue. Inspired by these advances, we propose a simple triplet representation learning (SimTriplet) approach on pathological images. The contribution of the paper is three-fold: (1) The proposed SimTriplet method takes advantage of the multi-view nature of medical images beyond self-augmentation; (2) The method maximizes both intra-sample and inter-sample similarities via triplets from positive pairs, without using negative samples; and (3) The recent mix precision training is employed to advance the training by only using a single GPU with 16GB memory. By learning from 79,000 unlabeled pathological patch images, SimTriplet achieved 10.58% better performance compared with supervised learning. It also achieved 2.13% better performance compared with SimSiam. Our proposed SimTriplet can achieve decent performance using only 1% labeled data. The code and data are available at https://github.com/hrlblab/SimTriple.

研究动机与目标

• 为解决医学影像中对比学习的高计算成本和资源受限环境下的可访问性问题。
• 通过将相邻图像块视为正样本对，利用全切片图像（WSIs）的多视图特性，超越标准的自增强方法。
• 通过聚焦于相邻组织切片图像块构成的正样本三元组，消除对比学习中对负样本的需求。
• 通过混合精度训练，在单张16GB内存GPU上实现高效训练，提升医学AI研究的可及性。
• 在标注数据有限的情况下评估方法性能，证明其在病理图像分类中的强大少样本泛化能力。

提出的方法

• 该方法采用基于三元组的损失函数，最大化同一图像块的两个增强视图之间的相似性（样本内），以及来自相邻图像块的两个视图之间的相似性（样本间），两者均被视为正样本对。
• 采用类似SimSiam的架构并引入梯度截断操作以防止特征坍塌，避免使用动量编码器或负样本对。
• 利用来自同一WSI的相邻图像块作为正样本对，借助空间邻近性确保语义相似性。
• 在单张16GB GPU上以批量大小128进行训练，采用混合精度训练以提升效率和内存使用效率。
• 每对相邻图像块生成三个增强视图：一个来自其中一个图像块，另一个来自其邻近图像块，共同构成三元组输入。
• 最终损失函数结合了样本内和样本间相似性目标，以增强特征判别能力。

实验结果

研究问题

• RQ1 一种避免使用负样本的对比学习方法，是否能在医学图像表征学习中实现更优性能？
• RQ2 病理图像的多视图特性——特别是空间相邻图像块——是否可被有效利用以提升自监督表征学习？
• RQ3 能否在单张16GB内存的GPU上高效训练对比学习模型，同时保持高性能？
• RQ4 当仅使用少量标注数据时，所提方法与监督学习和SimSiam相比性能如何？
• RQ5 引入样本间正样本对（相邻图像块）是否能提升表征质量，超越仅依赖样本内增强的效果？

主要发现

• SimTriplet 实现了0.6477的宏F1分数和0.7171的平衡准确率，相比监督学习（F1：0.5146，平衡准确率：0.6113）性能提升10.58%。
• 其F1分数（0.6267）和平衡准确率（0.6988）分别超过在79,000张图像上训练的SimSiam基线2.13%和1.83%。
• 仅使用1%的标注数据，SimTriplet 即实现0.7090的平衡准确率，优于SimSiam（0.7085），展现出强大的少样本泛化能力。
• 在所有数据比例（1%至100%）下均保持高性能，25%标注数据时平衡准确率达到0.7280，表明对数据稀缺具有强鲁棒性。
• 将相邻图像块对作为正样本显著增强了表征学习，表现为相对于SimSiam和监督基线的持续性能提升。
• 仅在单张16GB GPU上使用混合精度训练，即可达到最先进性能，证明了其高度的可及性和效率。