[论文解读] Semi-Supervised Learning -- A Statistical Physics Approach

Gad Getz, Noam Shental+1 more|ArXiv.org|Apr 5, 2006

Neural Networks and Applications参考文献 24被引用 28

一句话总结

本文提出了一种基于统计物理的半监督学习方法，通过多系综马尔可夫链蒙特卡洛（MCMC）从分类的玻尔兹曼分布中采样，实现对完整解分布而非仅最小能量（MAP）解的稳健、概率化分类。该方法在基因表达数据集上优于传统能量最小化方法，表现出更低的误分类率，并能更好地处理模糊的聚类边界。

ABSTRACT

We present a novel approach to semi-supervised learning which is based on statistical physics. Most of the former work in the field of semi-supervised learning classifies the points by minimizing a certain energy function, which corresponds to a minimal k-way cut solution. In contrast to these methods, we estimate the distribution of classifications, instead of the sole minimal k-way cut, which yields more accurate and robust results. Our approach may be applied to all energy functions used for semi-supervised learning. The method is based on sampling using a Multicanonical Markov chain Monte-Carlo algorithm, and has a straightforward probabilistic interpretation, which allows for soft assignments of points to classes, and also to cope with yet unseen class types. The suggested approach is demonstrated on a toy data set and on two real-life data sets of gene expression.

研究动机与目标

• 为解决半监督学习中最小能量解的脆弱性问题，这些解对数据波动敏感，可能因虚假密度特征而误分类。
• 开发一种方法以估计所有可能分类的完整分布，实现软分配，并增强对噪声和小规模标注数据集的鲁棒性。
• 提供一种适用于半监督学习中任何能量函数的通用框架，优于现有基于最小化的方法。
• 在真实世界基因表达数据集上展示该方法的优势，其中标注数据稀缺且聚类边界模糊。

提出的方法

• 该方法使用多系综马尔可夫链蒙特卡洛（MCMC）算法，高效地从分类的玻尔兹曼分布中采样，定义为 Pr(classification; T) ∝ exp(−E(classification)/T)。
• 它在一系列温度类参数 T > 0 下进行采样，避免了 T = 0（MAP 估计）的 NP 难问题区域，从而能够探索多种低能量构型。
• 该方法为所有可能的标记分配分配概率，支持软预测，并可通过概率推理处理未见的类别类型。
• 能量函数 E(classification) 可以是任何标准的半监督代价函数，如最小割、归一化割或二次代价，使该方法具有广泛适用性。
• 该方法自然地处理真实分类位于多个模式之间或被噪声细丝分裂的情况，如在合成数据和生物数据中所见。
• 它通过 MCMC 采样计算配分函数，从而实现对所有标记分配后验分布的估计，而不仅限于众数。

实验结果

研究问题

• RQ1 与最小化单一能量函数相比，从分类的完整玻尔兹曼分布中采样是否能提升分类的鲁棒性？
• RQ2 在标注点稀少且聚类结构模糊的真实基因表达数据上，该方法表现如何？
• RQ3 在何种情况下，完整解分布比单一最小能量解更具信息量？
• RQ4 该方法在多类基因表达分类任务中是否优于标准图割和谱转导方法？
• RQ5 该方法能否检测并正确分类在标注数据中未见的稀有或新型类别？

主要发现

• 在具有两个紧密模式和连接细丝的合成数据集上，该方法正确分类了所有未标注点，而最小割和谱转导方法因细丝导致的误分类而失败。
• 在包含 57 个样本和 17 个标注点的白血病基因表达数据集上，该方法在 q=2 时实现了零误分类，优于图割和其他方法。
• 对于同一数据集，该方法在 100% 的运行中正确预测了 MLL（一种稀有类别）的存在，而图割方法将全部 17 个 MLL 点全部误分类。
• 在包含 535 个测试基因和 77 个已知标签的酿酒酵母细胞周期数据集上，该方法在将基因分类到正确细胞周期阶段的成功率达到 32%，而图割方法仅为 20%。
• 在白血病数据集的 20–40% 情况下，即使不使用任何标注点，该方法的性能也与图割方法相当或更优，表明其对标注质量具有鲁棒性。
• 该方法在处理模糊聚类边界和噪声引起的伪影（如细丝或裂纹）方面表现出更优性能，这些伪影会误导基于能量最小化的方法。