[论文解读] Self-Supervised Learning of Phenotypic Representations from Cell Images with Weak Labels

Jan Cross-Zamirski, Guy Williams+4 more|arXiv (Cornell University)|Sep 16, 2022

Cell Image Analysis Techniques被引用 16

一句话总结

该论文提出WS-DINO，一种基于视觉变换器的自监督知识蒸馏框架，利用弱标签（如化合物或处理方式）从高内涵细胞图像中学习具有生物学意义的表型表征。在BBBC021数据集上，其在非相同化合物（NSC）机制作用预测中达到98%的准确率，在非相同化合物及批次（NSCB）机制作用预测中达到96%的准确率，表现优于当前最先进水平，同时通过自注意力图学习到结构可解释的特征，且无需进行单细胞裁剪。

ABSTRACT

We propose WS-DINO as a novel framework to use weak label information in learning phenotypic representations from high-content fluorescent images of cells. Our model is based on a knowledge distillation approach with a vision transformer backbone (DINO), and we use this as a benchmark model for our study. Using WS-DINO, we fine-tuned with weak label information available in high-content microscopy screens (treatment and compound) and achieve state-of-the-art performance in not-same-compound mechanism of action prediction on the BBBC021 dataset (98%), and not-same-compound-and-batch performance (96%) using the compound as the weak label. Our method bypasses single cell cropping as a pre-processing step, and using self-attention maps we show that the model learns structurally meaningful phenotypic profiles.

研究动机与目标

• 开发一种方法，利用弱标签（如化合物、处理方式）在自监督学习中实现从高内涵显微镜图像中学习表型表征。
• 在不依赖完全标注的单细胞数据或大量预处理的前提下，提升机制作用（MOA）预测性能。
• 学习能捕捉细胞结构特征的生物可解释表征，利用注意力图进行验证。
• 通过利用跨多个批次的弱标签结构，在高内涵筛选数据中实现隐式批次校正。
• 构建一个可推广的框架，可适配其他自监督模型和具有部分标签信息的数据集。

提出的方法

• WS-DINO通过知识蒸馏将弱标签信息融入DINO自监督学习框架，其中学生网络通过对比损失与教师网络对齐。
• 该方法在学生和教师网络中均采用视觉变换器（ViT）主干网络，将输入图像划分为全局和局部裁剪，以支持对比学习。
• 利用弱标签（化合物或处理方式）采样具有相同标签的图像对，提高学生网络学习到相似表型响应分组的可能性。
• 训练过程中采用加权随机采样器，确保所有弱标签组的表示均衡，提升泛化能力。
• 通过可视化自注意力图，解释模型关注的细胞结构，验证所学特征的生物学相关性。
• 框架使用指数移动平均（EMA）基于学生权重更新教师网络权重，稳定训练过程。

实验结果

研究问题

• RQ1 弱标签信息（如化合物或处理方式）能否有效整合进自监督学习框架，以改善表型表征学习？
• RQ2 通过知识蒸馏整合弱标签是否能相比无监督预训练，在机制作用（MOA）预测中带来更好的下游性能？
• RQ3 所学表征是否具有生物学意义且结构可解释，如注意力图所示？
• RQ4 该框架能否在高内涵筛选数据中隐式实现批次校正，其中同一化合物的图像分布在多个批次中？
• RQ5 在BBBC021等基准数据集上，WS-DINO在非相同化合物（NSC）和非相同化合物及批次（NSCB）MOA预测方面，与现有最先进方法相比表现如何？

主要发现

• 当以化合物作为弱标签时，WS-DINO在BBBC021数据集上的非相同化合物（NSC）机制作用预测中达到98%的准确率，优于先前方法。
• 使用相同弱标签时，模型在非相同化合物及批次（NSCB）MOA预测中达到96%的准确率，表明实现了有效的批次校正。
• 以处理方式作为弱标签时，性能与无监督DINO相当（NSC为92%），未见提升，表明处理标签可能因批次水平混杂而效果较差。
• 自注意力图显示，模型学习到聚焦于生物学相关结构（如细胞核、微管、肌动蛋白纤维），证实了其可解释性。
• 该方法避免了单细胞裁剪和分割，降低了预处理复杂度，同时保持高性能。
• 该框架具有良好的泛化能力：可适配其他自监督模型，并应用于具有部分MOA标签的数据集，适用于现实世界药物发现流程中的实际应用。