[论文解读] On the Turnpike to Design of Deep Neural Nets: Explicit Depth Bounds

Timm Faulwasser, Arne-Jens Hempel+1 more|arXiv (Cornell University)|Jan 8, 2021

Model Reduction and Neural Networks参考文献 25被引用 4

一句话总结

本文提出了一种新颖的最优控制框架，通过利用turnpike和耗散性特性，推导出深度神经网络（DNNs）的显式深度边界。通过将DNN训练建模为有限时域最优控制问题，并利用正则化强制实现严格耗散性，作者推导出可解析计算的深度边界，并在Two Spiral Task上进行了数值验证，结果显示边界估计非保守，尤其在使用ℓ∞-范数正则化时更为显著。

ABSTRACT

It is well-known that the training of Deep Neural Networks (DNN) can be formalized in the language of optimal control. In this context, this paper leverages classical turnpike properties of optimal control problems to attempt a quantifiable answer to the question of how many layers should be considered in a DNN. The underlying assumption is that the number of neurons per layer -- i.e., the width of the DNN -- is kept constant. Pursuing a different route than the classical analysis of approximation properties of sigmoidal functions, we prove explicit bounds on the required depths of DNNs based on asymptotic reachability assumptions and a dissipativity-inducing choice of the regularization terms in the training problem. Numerical results obtained for the two spiral task data set for classification indicate that the proposed estimates can provide non-conservative depth bounds.

研究动机与目标

• 为解决长期存在的经验性挑战——即确定DNN的最优深度——通过将其建模为可量化的设 计问题。
• 在恒定宽度和渐近可达性假设下，提供DNN的显式、可解析推导的深度边界。
• 建立一种构造性方法，用于设计正则化项，使训练OCP中实现严格耗散性。
• 通过在分类任务上的数值实验，评估所推导边界的紧致性和实际相关性。
• 通过应用最优控制工具——特别是turnpike和耗散性理论——将系统理论与深度学习相连接，用于DNN架构设计。

提出的方法

• 将前馈DNN的训练建模为有限时域最优控制问题（OCP），将深度视为离散时间步长。
• 应用turnpike理论识别OCP解中的中心稳定区域，该区域对应于网络的最优训练路径。
• 通过在阶段代价中设计正则化项，对OCP施加严格耗散性条件，确保turnpike的存在。
• 利用渐近可达性假设和OCP的耗散性诱导结构，推导出显式深度边界。
• 采用两种状态惩罚方式——ℓ2和ℓ∞——以计算后验深度估计，其中ℓ∞得到显著更紧的边界。
• 在Two Spiral Task上对结果进行数值验证，将边界与实际训练性能和收敛性进行比较。

实验结果

研究问题

• RQ1 是否可以利用turnpike和耗散性理论推导出DNN的显式、非保守深度边界？
• RQ2 OCP阶段代价中正则化的选择如何影响所推导的深度边界？
• RQ3 所推导的深度边界是否足够紧致且具有实际意义，尤其是与经验训练行为相比？
• RQ4 ℓ∞-范数正则化是否能显著优于ℓ2，特别是在数据集规模增大时？
• RQ5 目标状态的渐近可达性在多大程度上足以实现DNN中的成功分类？

主要发现

• 所提出的方法基于耗散性和turnpike理论，首次在已知文献中实现了DNN显式深度边界的可解析推导。
• 在阶段代价中使用ℓ∞-范数正则化，可得到显著更紧的深度估计，Two Spiral Task中范围为6.31至11.06，即使在数据集规模增大时也保持稳定。
• 相比之下，基于ℓ2的边界随数据集规模显著增长，当D=500时最高可达6,830，表明在标准正则化下可扩展性差。
• 数值结果表明，后验深度估计并不过于保守，最佳估计与观测到的训练行为高度一致。
• 基于ℓ∞-范数的边界在噪声数据下仍保持稳定，平均值稳定在7–8之间，表明对数据扰动具有鲁棒性。
• 本研究发现，目标状态的可达性足以实现分类，但并非必要条件，提示未来工作可考虑更一般的公式化方法。