[论文解读] Towards Principled Unsupervised Learning

Ilya Sutskever, Rafał Józefowicz+4 more|arXiv (Cornell University)|Nov 19, 2015

Topic Modeling参考文献 21被引用 21

一句话总结

本文提出输出分布匹配（ODM），一种原则性的无监督损失函数，通过将模型预测分布与真实标签分布对齐，确保与监督学习目标的一致性。通过使用无标签输入和输出优化ODM，该方法在标签数据极少的情况下仍能提升监督性能，并能通过从分布外测试样本中重建输入实现零样本域自适应。

ABSTRACT

General unsupervised learning is a long-standing conceptual problem in machine learning. Supervised learning is successful because it can be solved by the minimization of the training error cost function. Unsupervised learning is not as successful, because the unsupervised objective may be unrelated to the supervised task of interest. For an example, density modelling and reconstruction have often been used for unsupervised learning, but they did not produced the sought-after performance gains, because they have no knowledge of the supervised tasks. In this paper, we present an unsupervised cost function which we name the Output Distribution Matching (ODM) cost, which measures a divergence between the distribution of predictions and distributions of labels. The ODM cost is appealing because it is consistent with the supervised cost in the following sense: a perfect supervised classifier is also perfect according to the ODM cost. Therefore, by aggressively optimizing the ODM cost, we are almost guaranteed to improve our supervised performance whenever the space of possible predictions is exponentially large. We demonstrate that the ODM cost works well on number of small and semi-artificial datasets using no (or almost no) labelled training cases. Finally, we show that the ODM cost can be used for one-shot domain adaptation, which allows the model to classify inputs that differ from the input distribution in significant ways without the need for prior exposure to the new domain.

研究动机与目标

• 解决缺乏与监督学习目标一致的原则性无监督损失函数的问题。
• 开发一种无监督目标，无需大量标注数据即可提升泛化能力和监督性能。
• 通过将分布外测试输入的分布与训练数据分布对齐，实现零样本域自适应。
• 形式化一个与监督学习一致的成本函数，使得完美分类器同样能最小化ODM成本。

提出的方法

• 提出输出分布匹配（ODM）作为损失函数，通过最小化预测输出分布与真实标签分布之间的KL散度：$\textrm{KL}[\mathrm{Distr}(y)\|\mathrm{Distr}(F(x))]$。
• 利用来自输入和输出分布的无标签样本定义有效约束：$\mathrm{Distr}(F(x)) = \mathrm{Distr}(y)$。
• 采用生成模型框架，其中$P(x)$建模输入数据分布，$P_\theta(y|x)$建模给定输入的输出条件似然。
• 在域自适应中，对每个新的测试输入$y$，通过从零开始的优化（使用L2正则化和Adagrad）求解$x^* = \arg\max_{x,\theta} P_\theta(y|x)P(x)$。
• 使用LSTM训练$P(x)$，在MNIST上使用二元交叉熵损失；使用含一个隐藏层的小型CNN训练$P_\theta(y|x)$。

实验结果

研究问题

• RQ1 能否设计一种无监督损失函数，使得最小化该函数能提升监督性能？
• RQ2 将预测输出分布与真实标签分布对齐是否能带来更好的泛化性能？
• RQ3 ODM能否在未接触新领域数据的情况下实现有效的零样本域自适应？
• RQ4 在何种条件下，ODM成本足以完全确定最优的监督函数？

主要发现

• ODM成本与监督学习一致：完美监督分类器同样最小化ODM成本，确保在输出空间较大时，优化ODM可提升监督性能。
• 在小规模和半人工数据集上，ODM在极少或无标注数据下仍能实现性能提升，证明其在低监督设置下的有效性。
• 在零样本域自适应中，模型通过从训练分布中重建对应输入，成功分类1-MNIST测试图像（反转MNIST），在95%的情况下实现正确分类。
• 该方法依赖于模型从单一测试样本和生成模型中推断出与给定分布外输出$y$一致的潜在输入$x$的能力。
• 当输出空间较大且输入-输出分布具有足够结构相似性（尤其在存在长程依赖时），ODM成本最为有效。