[论文解读] Provable benefits of representation learning

Sanjeev Arora, Andrej Risteski|arXiv (Cornell University)|Jun 14, 2017

Bayesian Methods and Mixture Models参考文献 9被引用 7

一句话总结

本文将表示学习形式化为一个概率逆问题，其中表示函数将数据映射到保持语义相似性的潜在空间。在线性混合模型和对数线性模型中，证明了表示学习在半监督学习和分类任务中可实现比最近邻或流形方法更高效的性能，且在合理假设下显著降低了数据需求量。

ABSTRACT

There is general consensus that learning representations is useful for a variety of reasons, e.g. efficient use of labeled data (semi-supervised learning), transfer learning and understanding hidden structure of data. Popular techniques for representation learning include clustering, manifold learning, kernel-learning, autoencoders, Boltzmann machines, etc. To study the relative merits of these techniques, it's essential to formalize the definition and goals of representation learning, so that they are all become instances of the same definition. This paper introduces such a formal framework that also formalizes the utility of learning the representation. It is related to previous Bayesian notions, but with some new twists. We show the usefulness of our framework by exhibiting simple and natural settings -- linear mixture models and loglinear models, where the power of representation learning can be formally shown. In these examples, representation learning can be performed provably and efficiently under plausible assumptions (despite being NP-hard), and furthermore: (i) it greatly reduces the need for labeled data (semi-supervised learning) and (ii) it allows solving classification tasks when simpler approaches like nearest neighbors require too much data (iii) it is more powerful than manifold learning methods.

研究动机与目标

• 将表示学习形式化为统一框架，涵盖自编码器、聚类和深度网络等多种技术。
• 以实现更高效的分类和半监督学习为目标，定义表示学习的效用。
• 在结构化模型中，证明表示学习相对于最近邻和流形学习等简单基线方法的可证明优势。
• 在合理假设下，为线性混合模型和对数线性模型中的表示学习建立理论保证。

提出的方法

• 提出一种生成模型，其中数据点通过带随机噪声的确定性函数从潜在表示生成：$x = g(h, r)$。
• 将有效的编码器 $f: \mathcal{X} \to \mathcal{H}$ 定义为以高概率近似恢复真实表示 $h$ 的函数。
• 采用概率框架形式化表示的效用，将表示质量与下游分类性能关联。
• 应用Rademacher复杂度和泛化界分析在表示空间中训练的线性分类器的泛化误差。
• 使用Chernoff不等式和集中不等式分析表示误差超过阈值的样本比例。
• 将表示空间中的泛化性能与输入空间中的性能进行比较，表明样本效率得到提升。

实验结果

研究问题

• RQ1 能否以一种统一方式形式化表示学习，以涵盖自编码器和聚类等多样化技术？
• RQ2 在何种设置下，表示学习可证明地降低监督学习的样本复杂度？
• RQ3 在数据效率方面，表示学习与最近邻和流形学习方法相比如何？
• RQ4 在标注数据有限的情况下，表示学习能否解决最近邻方法无法解决的分类任务？
• RQ5 与仅依赖输入空间中局部度量结构的方法相比，使用表示学习的理论优势是什么？

主要发现

• 在线性混合模型中，表示学习通过利用未标记数据实现高效的半监督学习，显著减少了对标注数据的需求。
• 与最近邻方法相比，表示学习可在远少的标注样本下实现分类，后者需大量数据才能达到相似准确率。
• 该框架展示了表示学习与仅依赖最近邻信息的流形学习技术之间在样本复杂度上的可证明差异。
• 对于平衡的线性预测器，在完全监督设置下且无类别知识时，任何算法的性能最多只能达到随机猜测水平，误差上界为 $O(stT^2/k)$。
• 在有效编码器下，表示空间中的泛化误差被限制为 $\lesssim C(w,S) + R_t(\mathcal{F}) + \sqrt{\ln(1/\delta)/t}$，其中 $C(w,S)$ 为经验合页损失，$R_t(\mathcal{F})$ 为Rademacher复杂度。
• 本文证明，表示学习比基于局部度量的方法更具优势，因为它能捕捉超越最近邻关系的全局结构。