[论文解读] Unsupervised Learning of Predictors from Unpaired Input-Output Samples

Jianshu Chen, Po-Sen Huang+3 more|arXiv (Cornell University)|Jun 15, 2016

Anomaly Detection Techniques and Applications参考文献 22被引用 6

一句话总结

该论文提出了一种无监督学习框架，通过利用输出序列的结构先验，从无配对的输入-输出样本中训练预测器。它引入了一个非凸目标函数，平衡输出结构拟合与输入-输出相关性，在适当的正则化下，即使没有配对训练数据，也能收敛到近似最优解。

ABSTRACT

Unsupervised learning is the most challenging problem in machine learning and especially in deep learning. Among many scenarios, we study an unsupervised learning problem of high economic value --- learning to predict without costly pairing of input data and corresponding labels. Part of the difficulty in this problem is a lack of solid evaluation measures. In this paper, we take a practical approach to grounding unsupervised learning by using the same success criterion as for supervised learning in prediction tasks but we do not require the presence of paired input-output training data. In particular, we propose an objective function that aims to make the predicted outputs fit well the structure of the output while preserving the correlation between the input and the predicted output. We experiment with a synthetic structural prediction problem and show that even with simple linear classifiers, the objective function is already highly non-convex. We further demonstrate the nature of this non-convex optimization problem as well as potential solutions. In particular, we show that with regularization via a generative model, learning with the proposed unsupervised objective function converges to an optimal solution.

研究动机与目标

• 解决缺乏配对输入-输出训练数据所带来的挑战，因为这在大规模场景下成本过高且不可行。
• 开发一种实用的无监督学习目标函数，使用与有监督学习相同的评估标准，但无需依赖配对数据。
• 通过在输出序列上引入生成先验，克服无监督预测器学习中的非凸性和平凡局部最优解。
• 证明通过生成模型进行正则化可稳定优化过程，并实现向有意义解的收敛。

提出的方法

• 定义一个无监督目标函数，通过最大化预测输出对输出分布结构的拟合度来实现，该分布结构从无标签的输出序列中估计得出。
• 引入基于输出序列生成模型（如马尔可夫链）的正则化项，以引导优化过程远离平凡解。
• 使用线性分类器建模从输入到输出的映射，目标函数结合输出结构的似然性和与输入数据的相关性。
• 采用基于梯度的优化方法最小化无监督代价函数，正则化强度通过平衡结构拟合与输入相关性进行调优。
• 从独立的无标签输出序列中估计输出分布 $ p(y_1, \ldots, y_T) $，将其建模为具有转移矩阵 $ P $ 的马尔可夫链。
• 通过在合成数据上测试误差评估性能，比较在估计输出先验存在不同噪声水平时，无监督结果与有监督基线的差异。

实验结果

研究问题

• RQ1 能否设计出一种无监督目标函数，在无需配对输入-输出数据的情况下学习预测器，同时实现与有监督学习相当的性能？
• RQ2 无监督目标函数的非凸性如何影响优化过程？导致误导性局部最优解的原因是什么？
• RQ3 正则化在消除平凡局部解并引导优化过程朝向有意义预测器方面发挥什么作用？
• RQ4 无监督学习性能对估计输出序列先验 $ p(y_1, \ldots, y_T) $ 的误差有多敏感？
• RQ5 当完全缺乏配对数据时，所提出的方法是否仍能收敛到接近有监督最优解的解？

主要发现

• 所提出的无监督目标函数即使在使用简单线性分类器时也表现出高度非凸性，且存在大量平凡解（如秩-1解）的局部最优解。
• 若无正则化，优化景观在平凡解附近存在平坦区域，使得难以收敛到全局最优解。
• 在适当的正则化（如 $ \lambda = 30 $）下，代价函数形成‘斜坡’，可帮助逃离平凡局部最优解，从而得到接近有监督全局最优解的解。
• 随着估计输出分布 $ p(y_1, \ldots, y_T) $ 中噪声的增加，无监督方法的性能下降，但当先验估计较为准确时仍保持稳健。
• 正则化参数 $ \lambda $ 必须仔细调优：过小无法抑制平凡解，过大则会压倒数据相关项，导致性能下降。
• 通过无监督学习获得的解在 $ \lambda = 30 $ 时，无论在视觉上还是定量上，都与有监督解非常接近，证明了该方法在合成数据上的可行性。