[论文解读] Theano: new features and speed improvements

Frédéric Bastien, Pascal Lamblin+7 more|arXiv (Cornell University)|Nov 23, 2012

Parallel Computing and Optimization Techniques参考文献 10被引用 1,038

一句话总结

本文提出 Theano 深度学习库中显著的新功能与性能优化，该库可将符号数学表达式编译为高效低级代码。通过引入用于符号循环的 Scan 操作符、利用 R-算子优化梯度计算，并通过信任输入（trust_input）和批量函数调用等优化手段减少 Python 开销，Theano 在 CPU 和 GPU 上的多种神经网络基准测试中实现了具有竞争力的运行速度——在使用小批量训练时，性能与 Torch7 和 RNNLM 相当或更优。

ABSTRACT

Theano is a linear algebra compiler that optimizes a user's symbolically-specified mathematical computations to produce efficient low-level implementations. In this paper, we present new features and efficiency improvements to Theano, and benchmarks demonstrating Theano's performance relative to Torch7, a recently introduced machine learning library, and to RNNLM, a C++ library targeted at recurrent neural networks.

研究动机与目标

• 通过引入符号循环支持，提升 Theano 在训练复杂机器学习模型（尤其是循环神经网络）方面的能力。
• 减少 Theano 中的计算开销，特别是来自 Python 解释器和数据类型转换的开销，以提升执行速度。
• 通过支持循环和复杂操作的符号微分，实现高级优化与训练算法的高效支持。
• 将 Theano 的性能与 Torch7 和 RNNLM 等领先框架进行基准对比，以确立其在真实世界深度学习场景中的竞争力。

提出的方法

• Scan 操作符将循环抽象为计算图中的单一节点，支持对可变长度迭代进行符号微分与优化。
• R-算子的实现可高效计算高斯-牛顿 Hessian-向量乘积，支持二阶优化方法。
• Theano 的编译流水线经过优化，以减少非计算开销，包括通过 trust_input 标志禁用输入类型检查。
• 引入批量函数调用（f.fn(n_calls=N)），以消除多次调用函数时的 Python 循环开销。
• 通过 CUDA 利用 GPU 加速，并集成 BLAS 优化操作以支持密集张量计算。
• 在编译过程中自动应用图级优化，如循环融合和数值稳定性改进（例如，稳定的 log-sigmoid）。

实验结果

研究问题

• RQ1 Theano 是否能通过符号循环抽象高效支持循环模型，同时不牺牲可微分性或性能？
• RQ2 在标准深度学习基准测试中，Theano 的性能与 Torch7 和 RNNLM 相比如何，特别是在不同小批量大小下？
• RQ3 输入类型检查和 Python 解释器开销在多大程度上限制了 Theano 的速度？这些开销能否被有效缓解？
• RQ4 Theano 的符号微分能力是否可扩展以支持复杂操作，如 R-算子和循环中的反向传播？

主要发现

• 在使用小批量训练时，Theano 在 CPU 上对具有隐藏层的模型性能优于 Torch7，得益于高效的基于 BLAS 的并行计算。
• 当小批量大小为 10 或 60 时，Theano 在所有测试架构中均达到或超过 Torch7 的速度，尤其在计算量超过开销时表现更优。
• 在 GPU 上，当小批量大小为 1 时，RNNLM 对较小模型的运行速度优于 Theano，但随着模型规模增大，Theano 通过优化配置显著缩小了性能差距。
• 通过 trust_input 禁用输入类型检查可减少数据转换开销，从而提升性能，尤其当输入类型已正确时效果更明显。
• 批量函数调用（f.fn(n_calls=N)）可完全消除 Python 循环开销，显著加速仅需参数更新的迭代训练过程。
• Scan 操作符可实现循环中正确且高效的梯度计算，包括时间反向传播和 R-算子评估，即使在可变长度迭代中亦然。