[论文解读] The gap between theory and practice in function approximation with deep neural networks

Ben Adcock, Nick Dexter|arXiv (Cornell University)|Jan 16, 2020

Sparse and Compressive Sensing Techniques参考文献 86被引用 12

一句话总结

本文研究了深度神经网络（DNN）在函数逼近中理论保证与实际性能之间的差异。它提出了一套计算框架，用于评估DNN在光滑函数和分段光滑函数上的表现，发现尽管理论逼近率较强，DNN在光滑函数上的表现仍低于预期，而在其他类别上则优于压缩感知等经典方法。一个实用的存在性定理证明，DNN能够实现与最先进方法相当的性能，凸显了通过改进网络结构和训练策略来弥合理论与实践差距的潜力。

ABSTRACT

Deep learning (DL) is transforming industry as decision-making processes are being automated by deep neural networks (DNNs) trained on real-world data. Driven partly by rapidly-expanding literature on DNN approximation theory showing they can approximate a rich variety of functions, such tools are increasingly being considered for problems in scientific computing. Yet, unlike traditional algorithms in this field, little is known about DNNs from the principles of numerical analysis, e.g., stability, accuracy, computational efficiency and sample complexity. In this paper we introduce a computational framework for examining DNNs in practice, and use it to study empirical performance with regard to these issues. We study performance of DNNs of different widths & depths on test functions in various dimensions, including smooth and piecewise smooth functions. We also compare DL against best-in-class methods for smooth function approx. based on compressed sensing (CS). Our main conclusion from these experiments is that there is a crucial gap between the approximation theory of DNNs and their practical performance, with trained DNNs performing relatively poorly on functions for which there are strong approximation results (e.g. smooth functions), yet performing well in comparison to best-in-class methods for other functions. To analyze this gap further, we provide some theoretical insights. We establish a practical existence theorem, asserting existence of a DNN architecture and training procedure that offers the same performance as CS. This establishes a key theoretical benchmark, showing the gap can be closed, albeit via a strategy guaranteed to perform as well as, but no better than, current best-in-class schemes. Nevertheless, it demonstrates the promise of practical DNN approx., by highlighting potential for better schemes through careful design of DNN architectures and training strategies.

研究动机与目标

• 研究深度神经网络（DNN）在函数逼近中理论逼近保证与实际性能之间的差异。
• 评估不同架构、宽度、深度以及函数类别（包括光滑和分段光滑函数）下DNN的实际性能。
• 从精度、稳定性、样本复杂度和计算效率等方面，将DNN与最先进方法（如压缩感知）进行比较。
• 建立一个理论基准，证明DNN可实现与经典方法相当或更优的性能，从而揭示通过改进DNN设计以弥合理论与实践差距的潜力。
• 提供一个实用的存在性定理，证明存在一种DNN架构和训练方法，其在函数逼近中的性能可与压缩感知相匹配。

提出的方法

• 开发了一套计算框架，系统性地评估DNN在多种维度下各类测试函数（重点关注光滑和分段光滑函数）上的表现。
• 实现了不同宽度和深度的DNN，并与压缩感知（一种在光滑函数逼近中表现优异的最先进方法）进行对比。
• 采用正则化优化问题训练DNN：最小化 $ \norm{\bm{z}}_{1,\bm{u}} + \nu \norm{\bm{A'}\bm{z} - \bm{f}}_2 $，其中 $ \bm{A'} $ 以可控误差 $ \norm{\bm{A} - \bm{A}'}_2 \rightarrow 0 $ 近似真实测量矩阵 $ \bm{A} $。
• 应用压缩感知理论中的结果，特别是鲁棒 null 空间性质（rNSP），分析DNN逼近的稳定性和误差界。
• 利用 $ \norm{f - \tilde{\bm{\theta}}}_{L^\frown(\frown)} \rightarrow C \text{exp}(-\tilde{\frown} s^{1/d}) $ 建立逼近误差的理论界，其中 $ s $ 为稀疏度，$ d $ 为维度。
• 推导出DNN架构 $ \tilde{\bm{\theta}} $ 的深度与规模边界，表明 $ \text{depth}(\tilde{\bm{\theta}}) \rightarrow c'(1 + d\text{log}(d))(1 + \text{log}(s))(s + \text{log}(n) + \tilde{\frown} s^{1/d}) $ 与 $ \text{size}(\tilde{\bm{\theta}}) \rightarrow c'(d^2s^2 + (ds + d^2n)(1 + \text{log}(s) + \text{log}(n) + \tilde{\frown} s^{1/d})) $，其中 $ c' $ 为通用常数。

实验结果

研究问题

• RQ1 为何DNN在光滑函数上表现不佳，尽管其理论逼近保证较强？
• RQ2 DNN在函数逼近任务中与最先进方法（如压缩感知）相比表现如何？
• RQ3 能否构建一种DNN架构与训练方法，使其逼近误差与压缩感知相当？
• RQ4 DNN在函数逼近中的深度、规模与逼近误差可建立何种理论边界？
• RQ5 通过架构与训练策略的改进，DNN在函数逼近中的理论-实践差距能在多大程度上被弥合？

主要发现

• DNN在光滑函数上表现出显著的性能差距，其实际表现低于理论逼近率，尽管理论保证较强。
• 在分段光滑和非光滑函数上，DNN优于最先进方法（如压缩感知），表明理论与实践的差异取决于函数类别。
• 建立了一个实用的存在性定理，证明存在一种DNN架构与训练方法，其逼近误差可与压缩感知相匹配。
• 逼近误差界为 $ \norm{f - \tilde{\bm{\theta}}}_{L^\frown(\frown)} \rightarrow C \text{exp}(-\tilde{\frown} s^{1/d}) $，其中 $ s $ 为稀疏度，$ d $ 为维度，表明逼近误差随稀疏度参数呈指数收敛。
• DNN的深度与规模边界分别为 $ \text{depth}(\tilde{\bm{\theta}}) \rightarrow c'(1 + d\text{log}(d))(1 + \text{log}(s))(s + \text{log}(n) + \tilde{\frown} s^{1/d}) $ 与 $ \text{size}(\tilde{\bm{\theta}}) \rightarrow c'(d^2s^2 + (ds + d^2n)(1 + \text{log}(s) + \text{log}(n) + \tilde{\frown} s^{1/d})) $，其中 $ c' $ 为通用常数。
• 理论分析证实，通过精心设计DNN架构与训练方法，可弥合理论与实践之间的差距，表明DNN在函数逼近中具备实现最优性能的潜力。