[论文解读] Self-supervised learning for analysis of temporal and morphological drug effects in cancer cell imaging data

Andrei Dmitrenko, Mauro M. Masiero+1 more|arXiv (Cornell University)|Mar 7, 2022

Computational Drug Discovery Methods被引用 7

一句话总结

本文提出一种在100万张癌细胞图像上训练的自监督卷积自编码器（ConvAE），以学习解耦表征，用于分析药物作用的时序性和形态学效应。通过基于距离的聚类和对抗性/正则化学习，该方法将药物分类准确率提升了8%，并生成可解释的特征重要性图，从而揭示药物反应的形态学驱动因素。

ABSTRACT

In this work, we propose two novel methodologies to study temporal and morphological phenotypic effects caused by different experimental conditions using imaging data. As a proof of concept, we apply them to analyze drug effects in 2D cancer cell cultures. We train a convolutional autoencoder on 1M images dataset with random augmentations and multi-crops to use as feature extractor. We systematically compare it to the pretrained state-of-the-art models. We further use the feature extractor in two ways. First, we apply distance-based analysis and dynamic time warping to cluster temporal patterns of 31 drugs. We identify clusters allowing annotation of drugs as having cytotoxic, cytostatic, mixed or no effect. Second, we implement an adversarial/regularized learning setup to improve classification of 31 drugs and visualize image regions that contribute to the improvement. We increase top-3 classification accuracy by 8% on average and mine examples of morphological feature importance maps. We provide the feature extractor and the weights to foster transfer learning applications in biology. We also discuss utility of other pretrained models and applicability of our methods to other types of biomedical data.

研究动机与目标

• 开发一种自监督表示学习框架，用于分析癌症细胞成像中的时序性和形态学表型反应。
• 利用学习到的图像特征和可解释人工智能技术，实现对抗癌药物的可解释分类。
• 为下游生物医学图像分析应用提供可迁移的预训练模型。
• 在大规模药物反应数据集上，对比自监督模型与最先进预训练模型的性能。

提出的方法

• 在21种癌细胞系、31种药物、5种浓度处理的100万张相位对比图像上，使用随机增强和多裁剪训练策略，训练了一个轻量级卷积自编码器（ConvAE）。
• 将训练好的ConvAE作为特征提取器，用于下游分析的图像表征计算。
• 应用基于距离的聚类和动态时间规整（DTW）方法，识别时序性药物反应模式（如细胞毒性、细胞停滞、混合效应、无影响等）。
• 采用对抗性/正则化学习设置（lens模型），以提升多类药物分类性能，并从重建图像与lensed图像的差异中提取特征重要性图。
• 使用top-3分类准确率评估模型性能，并可视化驱动分类决策的关键形态学特征。
• 通过GitHub提供预训练模型和推理API，以支持生物成像中的迁移学习。

实验结果

研究问题

• RQ1 从大规模无标签的癌症细胞成像数据中进行自监督表示学习，能否捕捉到具有生物学意义的时序性和形态学药物反应模式？
• RQ2 与最先进预训练模型（如使用SwAV预训练的ResNet-50、使用DINO预训练的ViT）相比，自监督ConvAE在分类药物效应方面的性能如何？
• RQ3 对抗性/正则化学习能否通过学习到的特征提升多类药物分类准确率？哪些形态学特征驱动了性能提升？
• RQ4 对学习到的表征进行基于距离的分析，在多大程度上能够随时间区分不同药物反应表型？

主要发现

• 与标准微调相比，采用对抗性/正则化学习的自监督ConvAE在31种药物的top-3分类准确率上平均提升了8%。
• 对学习到的表征进行基于距离的聚类，成功识别出不同的时序反应模式，包括细胞毒性、细胞停滞和混合效应，经时序图像的视觉检查得到验证。
• 从lensed重建过程中生成的特征重要性图突出了特定形态学特征（如细胞大小、颗粒度、膜不规则性）对正确药物分类的贡献。
• 该方法成功重新分类了最初因高融合度或形态相似性而误判的药物，案例研究显示Topotecan和BPTES的重新分类结果正确。
• 使用SwAV预训练的ResNet-50产生了与ConvAE相当的时序反应模式，表明其可作为性能损失极小的低成本替代方案。
• 在单张RTX 2060显卡上，ConvAE对100万张图像的推理仅需40分钟，而ResNet-50需32小时，ViT-B/8需200小时，凸显其计算效率优势。