[论文解读] My First Deep Learning System of 1991 + Deep Learning Timeline 1962-2013

Jürgen Schmidhuber|arXiv (Cornell University)|Dec 19, 2013

Anomaly Detection Techniques and Applications参考文献 79被引用 7

一句话总结

本文介绍了作者于1991年开发的首个深度学习系统，该系统采用堆叠的循环神经网络（RNN）结构，并通过无监督预训练实现跨数百层的有效梯度反传，从而克服了梯度消失问题。该方法使首个深度学习系统在2009年赢得国际模式识别竞赛，2011年实现超人类性能，并在2013年持续主导目标检测与图像分割任务。

ABSTRACT

Deep Learning has attracted significant attention in recent years. Here I present a brief overview of my first Deep Learner of 1991, and its historic context, with a timeline of Deep Learning highlights.

研究动机与目标

• 记录并确立1991年开发的首个深度学习系统的学术历史地位，强调其技术革新与长期影响。
• 解决深度神经网络中信用分配的根本挑战，特别是1991年所识别的梯度消失/爆炸问题。
• 提供1962年至2013年深度学习里程碑的完整时间线，突出关键突破及其时间脉络背景。
• 证明无监督预训练与层次时间记忆在深度学习中的持久相关性，即使在GPU上的反向传播技术后来推动进一步进展。

提出的方法

• 采用无监督方式训练堆叠的循环神经网络（RNN），通过预测下一个输入实现对序列数据的分层压缩。
• 将低层RNN的误差信号作为高层RNN的输入，构建自组织的时间尺度，以在各层间保持并压缩信息。
• 实施一种技术，重新训练低层RNN以模仿高层RNN的隐藏单元，从而实现长期记忆形成并弥合长时序延迟。
• 在多列架构（MCMPCNN）中应用带有权重重用的卷积层与最大池化操作，结合反向传播，实现在GPU上的高效图像识别。
• 使用连接主义时间分类（CTC）训练堆叠的双向LSTM RNN，用于手写识别与语音识别等序列识别任务。
• 利用GPU加速训练深层前馈网络，结合反向传播与数据增强（如模式扭曲），在无需无监督预训练的情况下实现最先进性能。

实验结果

研究问题

• RQ1 在现代硬件普及之前，如何在数百个非线性层的深度神经网络中实现有效的信用分配？
• RQ2 在2009年之前，无监督预训练在循环网络与前馈网络中如何克服梯度消失问题？
• RQ3 哪些特定的架构创新使首个深度学习系统在2011年实现视觉模式识别的超人类性能？
• RQ4 从无监督预训练向GPU上端到端反向传播的转变，如何影响深度学习系统的性能与可扩展性？
• RQ5 在2009至2013年期间，有哪些证据表明深度学习系统在受控的国际竞赛中超越了人类专家与非神经网络方法？

主要发现

• 1991年开发的深度学习系统基于无监督预训练的RNN堆叠结构，成功在1200个时间步内完成信用分配，证明了使用循环架构实现深度学习的可行性。
• 至2009年，基于LSTM的深度学习系统在ICDAR 2009竞赛中赢得三项连笔手写识别比赛（涵盖三种不同语言），标志着首个深度学习系统在国际竞赛中获得正式胜利。
• 2011年，基于GPU的多列最大池化卷积神经网络（MCMPCNN）在交通标志识别任务中实现超人类性能，其表现优于人类两倍，优于次佳神经网络三倍。
• 2012年，同一MCMPCNN架构在ICPR 2012乳腺癌组织切片中微核检测竞赛与ISBI 2012神经元结构分割挑战赛中均夺冠，标志着深度学习首次在目标检测与图像分割任务中取得胜利。
• 至2013年，深度LSTM RNN在TIMIT音素识别任务中创下新纪录，GPU-MCMPCNN在ImageNet与PASCAL目标检测任务中设立新基准，证明其在计算机视觉与语音识别领域的持续主导地位。
• 本文确立了‘深度学习’一词约在2006年被提出，但其基础工作——特别是无监督预训练与层次时间记忆——可追溯至1991年，首个实际运行的深度学习系统早于现代深度学习时代的到来。