[论文解读] Semi-supervised learning of images with strong rotational disorder: assembling nanoparticle libraries

Maxim Ziatdinov, Muammer Y. Yaman+3 more|arXiv (Cornell University)|May 24, 2021

Genetics, Bioinformatics, and Biomedical Research被引用 4

一句话总结

本文提出了一种半监督旋转不变变分自编码器（ss-rVAE），通过利用少量标注数据，使模型能够泛化到大规模未标注数据集，从而实现对具有强旋转和位移紊乱的图像进行分类。该模型学习了一个旋转不变的潜在空间，并将这种不变性传递至下游分类器，实现了对纳米颗粒库的鲁棒构建以及从实验显微镜数据中解耦物理变量因素。

ABSTRACT

The proliferation of optical, electron, and scanning probe microscopies gives rise to large volumes of imaging data of objects as diversified as cells, bacteria, pollen, to nanoparticles and atoms and molecules. In most cases, the experimental data streams contain images having arbitrary rotations and translations within the image. At the same time, for many cases, small amounts of labeled data are available in the form of prior published results, image collections, and catalogs, or even theoretical models. Here we develop an approach that allows generalizing from a small subset of labeled data with a weak orientational disorder to a large unlabeled dataset with a much stronger orientational (and positional) disorder, i.e., it performs a classification of image data given a small number of examples even in the presence of a distribution shift between the labeled and unlabeled parts. This approach is based on the semi-supervised rotationally invariant variational autoencoder (ss-rVAE) model consisting of the encoder-decoder "block" that learns a rotationally (and translationally) invariant continuous latent representation of data and a classifier that encodes data into a finite number of discrete classes. The classifier part of the trained ss-rVAE inherits the rotational (and translational) invariances and can be deployed independently of the other parts of the model. The performance of the ss-rVAE is illustrated using the synthetic data sets with known factors of variation. We further demonstrate its application for experimental data sets of nanoparticles, creating nanoparticle libraries and disentangling the representations defining the physical factors of variation in the data. The code reproducing the results is available at https://github.com/ziatdinovmax/Semi-Supervised-VAE-nanoparticles.

研究动机与目标

• 解决在仅有少量标注数据可用时，对具有强旋转和位移紊乱的图像进行分类的挑战。
• 开发一种方法，使模型能从具有弱紊乱的标注数据泛化到具有强方向和位置分布偏移的未标注数据。
• 利用解耦表示从实验显微镜数据中构建可扩展且可解释的纳米颗粒库。
• 实现从自编码器到下游分类器的旋转与位移不变性迁移，以部署于新数据。

提出的方法

• ss-rVAE模型通过数据增强和等变设计，在潜在空间中结合编码器-解码器架构，实现旋转与位移不变性。
• 该模型采用变分自编码器（VAE）框架，通过增强和群等变约束，使潜在空间对旋转和位移保持不变。
• 在不变潜在表示上训练分类器头，从而继承编码器的旋转与位移不变性。
• 该方法同时利用标注数据进行监督学习和未标注数据进行自监督预训练，实现半监督泛化。
• 通过重建损失、KL散度和标注数据上的交叉熵损失组合，端到端训练模型。
• 该框架首先应用于具有已知变量因素的合成数据，随后应用于来自显微镜的真实实验纳米颗粒数据集。

实验结果

研究问题

• RQ1 半监督模型能否从少量具有弱紊乱的标注图像泛化到大规模具有强旋转和位移紊乱的未标注图像？
• RQ2 所学习的潜在空间在多大程度上能解耦纳米颗粒成像数据中的物理变量因素（如颗粒形状和尺寸）？
• RQ3 ss-rVAE在多大程度上能将自编码器中的旋转与位移不变性迁移至下游分类器？
• RQ4 该模型能否在极少人工标注的情况下，从实验显微镜数据中构建可靠且可解释的纳米颗粒库？

主要发现

• ss-rVAE在具有已知变量因素的合成数据集上实现了高分类准确率，证明了其能有效将旋转与位移与其他因素解耦。
• 该模型成功实现了从具有弱紊乱的标注数据到具有强紊乱的未标注数据的泛化，在分布偏移存在的情况下仍表现出鲁棒性能。
• 经过训练的分类器继承了编码器的不变性，在独立测试集上实现了高准确率，证实了所学不变性的可迁移性。
• 在实验纳米颗粒数据集上的应用，使得仅从原始显微镜图像中即可构建结构化且可解释的纳米颗粒库。
• 解耦表示揭示了颗粒形态和尺寸等物理变量因素，支持有意义的聚类与分析。