[论文解读] Nonsmooth Implicit Differentiation for Machine Learning and Optimization

Jérôme Bolte, Tam Le+2 more|Toulouse 1 Capitole Publications (Université Toulouse I Capitole)|Jun 8, 2021

Mathematical Biology Tumor Growth参考文献 46被引用 16

一句话总结

本文利用保守微分法和Clarke雅可比矩阵，建立了一个非光滑隐函数定理，使得在具有不可微组件的机器学习模型中能够实现形式化的次微分。该研究通过提供一个严格的数学基础，解释了算法微分在实践中广泛成功的原因——例如在深度平衡网络和超参数调优中的应用——并确保在温和且现实的假设下实现收敛。

ABSTRACT

In view of training increasingly complex learning architectures, we establish a nonsmooth implicit function theorem with an operational calculus. Our result applies to most practical problems (i.e., definable problems) provided that a nonsmooth form of the classical invertibility condition is fulfilled. This approach allows for formal subdifferentiation: for instance, replacing derivatives by Clarke Jacobians in the usual differentiation formulas is fully justified for a wide class of nonsmooth problems. Moreover this calculus is entirely compatible with algorithmic differentiation (e.g., backpropagation). We provide several applications such as training deep equilibrium networks, training neural nets with conic optimization layers, or hyperparameter-tuning for nonsmooth Lasso-type models. To show the sharpness of our assumptions, we present numerical experiments showcasing the extremely pathological gradient dynamics one can encounter when applying implicit algorithmic differentiation without any hypothesis.

研究动机与目标

• 弥合算法微分在非光滑机器学习中经验成功与缺乏理论依据之间的鸿沟。
• 为非可微环境下的隐式微分提供严谨的数学基础，特别是在经典反函数或复合规则失效的情况下。
• 在深度平衡网络和锥优化层等复杂模型中，通过Clarke雅可比矩阵实现形式化的次微分。
• 为广泛类别的非光滑机器学习问题中的随机优化算法建立收敛性保证。
• 证明标准反向传播工具（如JAX中的工具）即使在经典微分失效时，也与保守微分法保持一致。

提出的方法

• 提出一个非光滑保守隐函数定理，将经典隐函数定理推广至可定义的、非光滑问题。
• 使用保守雅可比矩阵作为Clarke次微分的推广，在矩阵乘法下保持其性质。
• 通过方程 $ J_F(z(x)) J_z(x) = J_h(x) $ 构建隐式微分，其中 $ J_F $ 和 $ J_h $ 为保守雅可比矩阵。
• 通过将解视为非光滑算子的不动点，将该框架应用于固定点问题，如深度平衡网络。
• 通过使用投影算子和保守微分法对锥优化层的隐式解进行建模，将其整合到神经网络中。
• 通过数值实验验证该框架：在无结构性假设的情况下，朴素的隐式微分会导致病态的梯度动力学。

实验结果

研究问题

• RQ1 是否存在一个严谨的数学理论，能够解释算法微分在非光滑机器学习模型中经验成功的根源？
• RQ2 在非光滑设置下，使用Clarke雅可比矩阵的形式化次微分在隐函数中保持有效的条件是什么？
• RQ3 为何标准反向传播在存在不可微点和虚假导数的情况下仍能在实践中可靠运行？
• RQ4 能否基于保守微分法，为非光滑深度学习架构中的随机优化建立收敛性保证？
• RQ5 经典隐函数定理在应用于ReLU网络或Lasso型模型等非光滑问题时存在哪些局限性？

主要发现

• 所提出的保守隐函数定理为非光滑环境下的隐式微分提供了严谨的数学基础，即使在经典反函数或复合规则失效时也成立。
• 该框架通过证明JAX等反向传播工具计算的是保守雅可比矩阵，从而解释了其在非光滑模型中的适用性，与理论保持一致。
• 数值实验表明，若无结构性假设，朴素的隐式微分会导致混沌或不稳定的梯度动力学，凸显了所提条件的必要性。
• 该方法可保证在使用递减步长的迷你批量随机算法下，对广泛类别的神经网络和Lasso型模型的超参数选择实现收敛。
• 在深度平衡网络和锥优化层中的应用表明，该框架支持端到端训练与形式化次微分，即使解不唯一或不连续也成立。
• 该理论解释了为何算法微分在实践中有效：它隐式计算保守雅可比矩阵，从而在非光滑环境下保持复合与反演操作中的关键导数性质。