[论文解读] The Matrix Calculus You Need For Deep Learning

Terence Parr, Jeremy Howard|arXiv (Cornell University)|Feb 5, 2018

Neural Networks and Applications被引用 12

一句话总结

本文提供了一篇简洁易懂的指南，涵盖理解深度学习训练所必需的矩阵微积分知识，重点聚焦于神经网络组件（如权重和偏置）的导数。通过直观的解释和实用的示例，推导出关键规则（如向量链式法则和雅可比矩阵计算），使研究人员无需具备高阶数学背景即可理解反向传播的机制。

ABSTRACT

This paper is an attempt to explain all the matrix calculus you need in order to understand the training of deep neural networks. We assume no math knowledge beyond what you learned in calculus 1, and provide links to help you refresh the necessary math where needed. Note that you do not need to understand this material before you start learning to train and use deep learning in practice; rather, this material is for those who are already familiar with the basics of neural networks, and wish to deepen their understanding of the underlying math. Don't worry if you get stuck at some point along the way---just go back and reread the previous section, and try writing down and working through some examples. And if you're still stuck, we're happy to answer your questions in the Theory category at forums.fast.ai. Note: There is a reference section at the end of the paper summarizing all the key matrix calculus rules and terminology discussed here. See related articles at http://explained.ai

研究动机与目标

• 弥合基础微积分与深度学习所需矩阵微积分之间的差距，尤其聚焦于理解反向传播。
• 为具备基本神经网络知识但不熟悉向量与矩阵导数的实践者揭开矩阵微积分的神秘面纱。
• 提供一个自包含的、直观的解释，涵盖训练深度神经网络时所用的核心矩阵微积分规则。
• 作为研究人员和学生理解深度学习框架中自动微分数学基础的参考。
• 通过逐步推导关键规则，减少对死记硬背的依赖，基于微积分和线性代数的基本概念进行推导。

提出的方法

• 以标量微积分为基础，通过直观的推广，逐步扩展至向量和矩阵导数。
• 引入雅可比矩阵和梯度作为组织向量值函数偏导数的核心工具。
• 应用向量链式法则，计算深度学习中常见的复合函数的导数，例如带有ReLU激活的损失函数。
• 采用一致的记号（分子布局），并强调清晰性而非数学形式化，以提高可访问性。
• 通过逐元素运算、降维和标量扩展规则，推导损失函数相对于权重和偏置的梯度。
• 提供一个参考部分，总结关键恒等式和规则，包括逐元素运算、标量扩展和向量降维的规则。

实验结果

研究问题

• RQ1 标量微积分规则如何推广，以计算深度学习中向量值和矩阵值函数的导数？
• RQ2 在具有非线性激活的多层神经网络中，计算梯度的正确矩阵微积分规则是什么？
• RQ3 向量链式法则如何简化具有多个参数的深度网络中梯度的计算？
• RQ4 雅可比矩阵和梯度在反向传播中的作用是什么？它们如何被高效计算？
• RQ5 如何以一种对仅有基础微积分背景的人也易于理解的方式教授矩阵微积分？

主要发现

• 本文成功使用矩阵微积分推导出单神经元网络中损失函数相对于权重和偏置的梯度。
• 它表明向量链式法则能够高效实现通过深度学习中常见的复杂计算图的反向传播。
• 作者表明，逐元素运算和降维（如求和）遵循一致的导数规则，这些规则自然地从标量微积分推广而来。
• 本文确立了标量扩展和雅可比矩阵组织在处理神经网络层中非均匀导数维度方面的重要性。
• 参考部分提供了矩阵微积分规则的全面、实用总结，使其成为研究人员和实践者可靠的实战资源。
• 该方法使读者能够从第一原理理解并实现反向传播，即使此前未接触过高级矩阵微积分。