[论文解读] Universality of Deep Convolutional Neural Networks

Ding‐Xuan Zhou|arXiv (Cornell University)|May 28, 2018

Neural Networks and Applications参考文献 22被引用 17

一句话总结

本文通过证明当网络深度足够大时，深度卷积神经网络（CNN）可以以任意精度逼近紧致定义域上的任意连续函数，建立了深度卷积神经网络的普遍性。理论框架表明，与全连接网络相比，深度CNN能以显著更少的参数实现这一目标，凸显了卷积结构在逼近理论中的高效性与表达能力。

ABSTRACT

Deep learning has been widely applied and brought breakthroughs in speech recognition, computer vision, and many other domains. The involved deep neural network architectures and computational issues have been well studied in machine learning. But there lacks a theoretical foundation for understanding the approximation or generalization ability of deep learning methods generated by the network architectures such as deep convolutional neural networks having convolutional structures. Here we show that a deep convolutional neural network (CNN) is universal, meaning that it can be used to approximate any continuous function to an arbitrary accuracy when the depth of the neural network is large enough. This answers an open question in learning theory. Our quantitative estimate, given tightly in terms of the number of free parameters to be computed, verifies the efficiency of deep CNNs in dealing with large dimensional data. Our study also demonstrates the role of convolutions in deep CNNs.

研究动机与目标

• 为学习理论中深度卷积神经网络（CNN）的逼近能力建立理论基础。
• 解决深度CNN是否能逼近任意连续函数这一开放性问题，填补深度学习理论中的关键空白。
• 通过将性能与自由参数数量关联，量化深度CNN的逼近效率。
• 展示卷积结构在提升表征能力与计算效率方面的数学作用。

提出的方法

• 使用修正线性单元（ReLU）作为激活函数，定义为 σ(u) = max{u, 0}，以逐元素方式应用于网络输出。
• 通过迭代应用稀疏卷积矩阵 T^(j) 构建深度CNN，每个矩阵由固定长度 s 的滤波器掩码 w^(j) 定义，确保稀疏性与参数效率。
• 采用分层网络宽度递推 d_j = d + j·s，以在各层间保持结构信息，并支持通用逼近。
• 通过特定结构的偏置向量 b^(j) 稳定并控制每层输出，实现对逼近过程的精确调控。
• 利用序列符号的卷积多项式分解方法，将高阶滤波器分解为一系列低阶滤波器，实现基于深度的逼近。
• 结合Sobolev空间范数与小波启发的多项式分解，推导出逼近误差在深度 J 和维度 d 方面的紧致边界。

实验结果

研究问题

• RQ1 深度卷积神经网络能否在紧致定义域上以任意精度逼近任意连续函数？
• RQ2 深度CNN中自由参数的数量如何影响其逼近精度？
• RQ3 与全连接网络相比，卷积结构在实现高效通用逼近中起到何种作用？
• RQ4 能否以网络深度和输入维度为变量，对逼近误差进行定量界定？
• RQ5 是否可以通过分层组合，将高阶卷积滤波器分解为一系列低阶滤波器？

主要发现

• 深度CNN是通用逼近器：对于任意定义在紧致域 Ω ⊂ ℝ^d 上的连续函数 f，存在一个深度足够大的深度CNN，使得当 J → ∞ 时，逼近误差趋于零。
• 逼近误差以 O(√(log J) · J^(-1/2 - 1/d)) 的速率衰减，提供了关于深度 J 和输入维度 d 的紧致定量边界。
• 深度CNN中自由参数的总数为 (5s + 2)J + 2d - 2s - 1，显著少于全连接网络，体现出计算效率。
• 该方法仅使用ReLU激活函数与稀疏卷积矩阵即可实现通用逼近，无需全连接层。
• 本文证明，任何在 {0, ..., M} 上有支撑的滤波器序列 W 均可分解为 J 个长度不超过 s 的序列的乘积，从而通过深度实现分层逼近。
• 理论框架证实，卷积不仅是结构选择，更是深度学习中实现高效且通用函数逼近的根本性机制。