[论文解读] Orientation-Disentangled Unsupervised Representation Learning for Computational Pathology

Maxime W. Lafarge, Josien P. W. Pluim+1 more|arXiv (Cornell University)|Aug 26, 2020

AI in cancer detection参考文献 84被引用 6

一句话总结

本文提出了一种旋转等变变分自编码器，通过将潜在空间划分为独立分量，实现了在组织病理学图像中对各向同性（非方向性）和方向性形态特征的解耦。该方法通过学习方向无关的表示，增强了泛化能力和可解释性，从而在细胞水平和患者水平的分级任务中提升了下游性能，优于标准VAE和手工设计的特征，在关键基准测试中表现更优。

ABSTRACT

Unsupervised learning enables modeling complex images without the need for annotations. The representation learned by such models can facilitate any subsequent analysis of large image datasets. However, some generative factors that cause irrelevant variations in images can potentially get entangled in such a learned representation causing the risk of negatively affecting any subsequent use. The orientation of imaged objects, for instance, is often arbitrary/irrelevant, thus it can be desired to learn a representation in which the orientation information is disentangled from all other factors. Here, we propose to extend the Variational Auto-Encoder framework by leveraging the group structure of rotation-equivariant convolutional networks to learn orientation-wise disentangled generative factors of histopathology images. This way, we enforce a novel partitioning of the latent space, such that oriented and isotropic components get separated. We evaluated this structured representation on a dataset that consists of tissue regions for which nuclear pleomorphism and mitotic activity was assessed by expert pathologists. We show that the trained models efficiently disentangle the inherent orientation information of single-cell images. In comparison to classical approaches, the resulting aggregated representation of sub-populations of cells produces higher performances in subsequent tasks.

研究动机与目标

• 解决在组织病理学图像无监督表示学习中由方向引起的干扰变化问题。
• 开发一个解耦的潜在空间，将组织图像中的各向同性（非方向性）和方向性形态因子分离。
• 通过学习方向鲁棒的表示，提升下游任务性能，尤其是在患者水平分级方面。
• 为大规模全切片图像分析提供可解释、信息丰富且计算高效的表示。
• 提供一个通用框架，用于医学图像分析中旋转因子的无监督解耦。

提出的方法

• 扩展VAE框架，引入旋转等变卷积网络，以建模旋转群的结构。
• 将潜在空间划分为两个独立分量：各向同性（实值）和方向性（角度）因子。
• 使用逆采样层，实现旋转群上角度变量的端到端训练。
• 采用结构化后验分布，显式将方向作为独立的生成因子进行建模。
• 应用解耦的生成模型，使各向同性和方向性分量条件独立。
• 在无标注的全切片图像块上以无监督方式训练模型。

实验结果

研究问题

• RQ1 解耦的潜在空间能否有效分离组织病理学图像中的各向同性和方向性形态特征？
• RQ2 解耦方向是否能提升在细胞水平和患者水平分级任务中的下游性能？
• RQ3 所提出的定向解耦表示与标准VAE和手工特征相比，在预测性能上表现如何？
• RQ4 各向同性和方向性分量在多大程度上编码了不同的生物学特征，如核异型性和有丝分裂活性？
• RQ5 所学表示能否支持可解释的分析和全切片图像的高效压缩？

主要发现

• 各向同性表示在患者水平异型性分级任务中，性能始终优于或匹配标准VAE和手工设计的核面积特征。
• 在肿瘤增殖分级任务中，方向性特征的预测能力略高于各向同性特征，表明两个分量均对切片水平结果有贡献。
• 生成图像的平滑插值结果表明，各向同性分量编码了染色比例、核边界厚度和稀疏性，而方向性分量捕捉了径向定位和非对称结构。
• 解耦表示提升了聚合细胞群体表示的质量，增强了下游模型的泛化能力。
• 该框架支持对学习到的因子进行可视化检查，增强了可解释性，并为预测性形态学特征提供了生物学洞察。
• 该方法在其他任务中也表现出可迁移性，包括全切片图像压缩和基于图像块的分类预训练。