[论文解读] Supervising Unsupervised Learning

Vikas Garg, Adam Tauman Kalai|arXiv (Cornell University)|Sep 14, 2017

Domain Adaptation and Few-Shot Learning参考文献 18被引用 10

一句话总结

该论文提出了一种元无监督学习（MUL）框架，将无监督学习（UL）问题视为来自元分布的样本，利用异构的、已标注的数据集仓库来监督UL任务。通过将UL简化为对算法选择和数据特征的监督学习，该方法实现了原则性的评估，提升了聚类性能，优化了超参数选择，去除了异常值，并通过深度学习在不同领域间实现了零样本泛化——即使在未见过的数据上也优于基线方法。

ABSTRACT

We introduce a framework to leverage knowledge acquired from a repository of (heterogeneous) supervised datasets to new unsupervised datasets. Our perspective avoids the subjectivity inherent in unsupervised learning by reducing it to supervised learning, and provides a principled way to evaluate unsupervised algorithms. We demonstrate the versatility of our framework via simple agnostic bounds on unsupervised problems. In the context of clustering, our approach helps choose the number of clusters and the clustering algorithm, remove the outliers, and provably circumvent the Kleinberg's impossibility result. Experimental results across hundreds of problems demonstrate improved performance on unsupervised data with simple algorithms, despite the fact that our problems come from heterogeneous domains. Additionally, our framework lets us leverage deep networks to learn common features from many such small datasets, and perform zero shot learning.

研究动机与目标

• 通过将无监督学习建立在监督的元框架之上，解决其内在的主观性与缺乏评估标准的问题。
• 为在异构领域中评估和改进聚类等无监督算法提供一种原则性、客观的方法。
• 利用先前已标注数据集仓库中的知识，实现对最优聚类算法、聚类数量和异常值去除的自动选择。
• 证明小型、异构的数据集可以组合成大规模训练集，供深度网络学习共享特征，从而实现零样本迁移。
• 通过在多个具有真实标签的问题上学习，规避聚类中的Kleinberg不可能性结果。

提出的方法

• 将每个无监督学习问题视为来自元分布 µ 的一个样本，并将每个已标注数据集视为监督学习任务中的一个训练样本。
• 使用来自多样化、已标注数据集（如 OpenML）的仓库，训练元算法以预测最优的UL解决方案，如聚类参数或特征表示。
• 构建一个二分类任务，其中每对数据被标记为1（属于同一类）或0（不属于同一类），使用基于成对距离和协方差矩阵的特征。
• 在组合的元数据集上训练深度神经网络以预测类别相似性，并通过特征向量翻转进行数据增强，以提高鲁棒性。
• 通过预测同类别概率并将平均概率超过0.5的样本对进行聚类，将训练好的模型应用于新的未标注数据集。
• 使用元内部和元外部测试集进行评估——后者排除了与训练数据同类别中的样本——以检验泛化能力和零样本性能。

实验结果

研究问题

• RQ1 能否通过利用已标注数据集仓库，使无监督学习问题变得定义明确并可客观评估？
• RQ2 能否仅通过先前已标注问题的结构，利用元学习框架在异构、多样化数据集上提升聚类性能？
• RQ3 能否通过在多个已标注问题上学习，规避聚类中的Kleinberg不可能性结果？
• RQ4 在小型、异构数据集上训练的深度学习模型，在多大程度上能泛化到新的、未见过的无监督任务？
• RQ5 能否通过从多个小型数据集中学习共享特征，使该框架实现在多样化数据类型上的零样本学习？

主要发现

• 该元方法在元内部和元外部测试集上均显著优于多数规则基线，即使外部数据来自训练中未使用的类别。
• 通过从先前已标注数据中学习最优超参数和异常值去除策略，该方法在数百个无监督数据集上使用简单算法实现了聚类性能的提升。
• 该框架通过在多个已标注问题上学习一致的聚类偏好，成功规避了Kleinberg的不可能性结果，避免了任意公理失效。
• 通过整合来自数百个小型、异构数据集的数千个样本，该方法构建了一个适合训练深度神经网络的大规模元数据集。
• 深度网络模型在未见过的数据上表现出有效的泛化能力，展示了在自然语言处理、计算机视觉和生物信息学等多样化领域中的零样本能力。
• 元外部测试数据的平均准确率达到0.75，标准差为0.05，表明其泛化能力显著超越了训练数据的分布。