[论文解读] Representation Learning: A Review and New Perspectives

Yoshua Bengio, Aaron Courville+1 more|arXiv (Cornell University)|Jun 24, 2012

Domain Adaptation and Few-Shot Learning参考文献 214被引用 111

一句话总结

本文将表征学习视为推动人工智能发展的核心支柱，主张采用无监督和深度学习方法，以解耦数据中的潜在变化因素。本文提出，通过深度架构、概率模型和自编码器实现更优的表征学习，可减少对手动特征工程的依赖，并推动更通用、可扩展的人工智能系统发展。

ABSTRACT

The success of machine learning algorithms generally depends on data representation, and we hypothesize that this is because different representations can entangle and hide more or less the different explanatory factors of variation behind the data. Although specific domain knowledge can be used to help design representations, learning with generic priors can also be used, and the quest for AI is motivating the design of more powerful representation-learning algorithms implementing such priors. This paper reviews recent work in the area of unsupervised feature learning and deep learning, covering advances in probabilistic models, auto-encoders, manifold learning, and deep networks. This motivates longer-term unanswered questions about the appropriate objectives for learning good representations, for computing representations (i.e., inference), and the geometrical connections between representation learning, density estimation and manifold learning.

研究动机与目标

• 通过开发能够自动学习有用数据表征的算法，减少对手动特征工程的依赖。
• 识别并形式化通用先验（如解耦、分层和稀疏的变化因素），以指导表征学习向更通用智能发展。
• 解决关于表征目标、推理机制和深度学习中优化的基本开放性问题。
• 通过几何和概率框架，统一表征学习、密度估计和流形学习的视角。

提出的方法

• 综述无监督特征学习中深度学习、自编码器、玻尔兹曼机和变分推断的最新进展。
• 提出具有多层非线性变换的深度架构可实现对数据因素的分层抽象。
• 引入隐式后验表征的概念，以紧凑方式编码复杂、多模态的分布，而无需显式枚举。
• 倡导端到端学习推理过程，其中近似推理网络与主模型联合训练。
• 将表征学习形式化为模型参数、推理和表征目标的联合优化。
• 强调深度神经网络作为参数化函数的作用，可隐式表示潜在因素上的复杂后验分布。

实验结果

研究问题

• RQ1 在下游预测任务中，何种数据表征比其他表征更有效？
• RQ2 应如何计算给定输入的表征（即执行推理），以捕捉有意义的结构？
• RQ3 学习能解耦潜在解释性变化因素的表征时，最优目标是什么？
• RQ4 当潜在因素的后验分布高度多模态且计算上不可行时，如何建模该后验分布？
• RQ5 优化动态和正则化在训练大规模数据上的深度架构中发挥何种作用？

主要发现

• 深度学习方法，尤其是深度自编码器和卷积网络，在MNIST数据集上实现了最先进性能，错误率降低至最低0.27%。
• 在语音识别中，深度学习将主要基准上的词错误率降低了最多30%，显著优于传统的高斯混合模型。
• 表征学习推动了音乐信息检索的突破，多音谱曲目转录任务的相对错误率改善达5%至30%。
• 本文指出，当前表征学习方法往往未能充分挖掘稀疏性、解耦性和时间一致性等结构先验。
• 亟需更优的优化策略和推理机制，以应对多模态后验并避免陷入不良局部极小值。
• 对复杂后验的隐式表征（如保留所有必要信息的确定性特征映射）可能为显式后验建模提供可扩展的替代方案。