[论文解读] Unsupervised Learning with Imbalanced Data via Structure Consolidation Latent Variable Model

Fariba Yousefi, Zhenwen Dai+2 more|arXiv (Cornell University)|Jun 30, 2016

Machine Learning in Healthcare参考文献 5被引用 4

一句话总结

本文提出了一种结构整合潜在变量模型（SCLVM），通过使用新颖的核函数公式将潜在空间划分为共享子空间与私有子空间，解决了在类别不平衡数据上的无监督学习问题。该方法通过在私有空间中隔离特定类别的方差，同时在共享空间中保留共通模式，有效建模了少数类，在一个类别不平衡的医学图像数据集上实现了分类任务中 F1 得分为 0.482 ± 0.015 的优越性能。

ABSTRACT

Unsupervised learning on imbalanced data is challenging because, when given imbalanced data, current model is often dominated by the major category and ignores the categories with small amount of data. We develop a latent variable model that can cope with imbalanced data by dividing the latent space into a shared space and a private space. Based on Gaussian Process Latent Variable Models, we propose a new kernel formulation that enables the separation of latent space and derives an efficient variational inference method. The performance of our model is demonstrated with an imbalanced medical image dataset.

研究动机与目标

• 解决在高度不平衡数据集上进行无监督学习的挑战，特别是在医学影像中，阳性病例（如疾病形态）极为稀少的情况。
• 克服标准模型被多数类主导的局限性，从而导致少数类别表征不佳的问题。
• 开发一种概率潜在变量模型，在统一框架中联合学习共享规律与类别特异性特征。
• 实现基于后验估计的合理概率推理，从而提供对类别的概率分类输出，这与基线比较中使用的 SVM 等判别模型形成对比。

提出的方法

• 将潜在空间划分为共享空间（Qs），用于捕捉所有类别之间的共通模式，以及私有空间（Qp），用于捕捉类别特异性方差。
• 设计复合核函数：k = ks(xs, xs′) + kp(xp, c_x; xp′, c_x′)，其中 kp 在不同类别之间为零，并在每个类别内使用基础核函数 k′。
• 采用稀疏高斯过程近似，引入诱导输入 z 和标签 cz，以实现高效的变分推理。
• 推导出对数边际似然的闭式下界，从而实现对潜在变量与核超参数的高效优化。
• 使用变分推理与近似后验 q(x) 对潜在表示进行边缘化，优化证据下界（ELBO）。
• 通过迭代更新，联合优化共享空间与私有空间的表示以及核参数，直至收敛。

实验结果

研究问题

• RQ1 潜在变量模型是否能够在不被多数类主导的情况下，有效从不平衡数据中学习？
• RQ2 如何联合建模共享与私有潜在空间，以同时保留共通结构与类别特异性特征？
• RQ3 所提出的核函数公式是否相比标准 GPLVM 在少数类的表征学习方面表现更优？
• RQ4 该模型是否能够在不依赖 SVM 等后处理模型的情况下，提供合理的概率分类输出？
• RQ5 该模型在真实世界中类别不平衡的医学图像数据上，在生成与判别任务中的表现如何？

主要发现

• SCLVM 模型成功从高度不平衡的数据中学习，仅在总共 146,562 个图像块中包含 550 个有丝分裂阳性块，且在分类任务中实现了 F1 得分为 0.482 ± 0.015。
• 共享空间捕捉了阳性与阴性细胞之间的共通结构模式，而私有空间则清晰地区分了类别特异性特征，如潜在空间可视化所示。
• 从训练后的 SCLVM 模型生成的样本清晰地反映了阳性与阴性类别的形态学特征，展示了其有效的生成能力。
• 尽管比较中使用了更简单的下游 SVM 模型，SCLVM 在分类任务中仍优于 BGPLVM（F1：0.447 ± 0.014）和 DGPLVM（F1：0.390 ± 0.011）。
• SCLVM 提供了合理的概率分类框架，而 BGPLVM 和 DGPLVM 则需依赖额外的后处理步骤（如 SVM），缺乏内在的概率建模能力。
• 该模型收敛稳定，通过私有空间机制有效平衡了少数类与多数类之间的表征学习。