[论文解读] Tight Sample Complexity of Learning One-hidden-layer Convolutional Neural Networks

Yuan Cao, Quanquan Gu|arXiv (Cornell University)|Nov 12, 2019

Machine Learning and ELM被引用 15

一句话总结

本文提出了一种用于训练具有非重叠滤波器的一层卷积神经网络的近似梯度下降算法，在弱初始化条件下实现了对真实参数的线性收敛。该方法建立了紧致的样本复杂度，与线性激活函数的信息论下界一致，并可扩展至一般非平凡、单调且Lipschitz连续的激活函数（如ReLU和Leaky ReLU）。

ABSTRACT

We study the sample complexity of learning one-hidden-layer convolutional neural networks (CNNs) with non-overlapping filters. We propose a novel algorithm called approximate gradient descent for training CNNs, and show that, with high probability, the proposed algorithm with random initialization grants a linear convergence to the ground-truth parameters up to statistical precision. Compared with existing work, our result applies to general non-trivial, monotonic and Lipschitz continuous activation functions including ReLU, Leaky ReLU, Sigmod and Softplus etc. Moreover, our sample complexity beats existing results in the dependency of the number of hidden nodes and filter size. In fact, our result matches the information-theoretic lower bound for learning one-hidden-layer CNNs with linear activation functions, suggesting that our sample complexity is tight. Our theoretical analysis is backed up by numerical experiments.

研究动机与目标

• 解决现有方法在训练具有非重叠滤波器和一般激活函数的一层卷积神经网络时缺乏通用收敛保证的问题。
• 克服先前工作中对特定初始化、精确梯度计算或光滑性假设的依赖。
• 构建一个适用于广泛激活函数类别的收敛性分析框架，且无需依赖解析梯度表达式。
• 实现与线性激活函数的信息论下界相匹配的样本复杂度，表明统计最优性。
• 提供一种统一的分析方法，用于经验风险最小化，无需样本分割，采用一致的集中不等式。

提出的方法

• 提出一种近似梯度下降算法（算法1），同时更新滤波器权重和第二层参数。
• 使用一致的集中不等式分析经验风险，无需样本分割，从而对有限样本波动保持鲁棒。
• 利用非平凡、单调且Lipschitz连续激活函数的性质，避免对解析梯度表达式的依赖。
• 采用新型基于递推的分析方法，证明即使在随机初始化下，也能实现对统计精度的线性收敛。
• 引入一种参数化方式，将滤波器结构与输入分布解耦，从而推广至非高斯输入。
• 通过协方差分解和Fubini定理，控制梯度估计过程中交叉项的依赖关系。

实验结果

研究问题

• RQ1 我们能否为具有通用非平凡、单调且Lipschitz连续激活函数的一层卷积神经网络实现线性收敛？
• RQ2 所提出的算法是否实现了与线性激活函数信息论下界相匹配的样本复杂度？
• RQ3 是否可以在不依赖第二层参数的精确知识或人为初始化的前提下建立收敛保证？
• RQ4 该算法是否对非高斯输入分布（如球面上的均匀分布或椭球状分布）具有鲁棒性？
• RQ5 该方法能否在不进行样本分割的前提下扩展至经验风险最小化，同时保持紧致的样本复杂度？

主要发现

• 所提出的近似梯度下降算法在弱随机初始化下，以高概率实现对真实参数的线性收敛，收敛至统计精度。
• 样本复杂度为 $ \widetilde{O}((k + r) \cdot \epsilon^{-2}) $，与线性激活函数的信息论下界一致，表明统计最优性。
• 该方法适用于广泛的激活函数类别，包括ReLU、Leaky ReLU、Sigmoid和Softplus，且无需光滑性假设或解析梯度计算。
• 数值实验表明，即使对于非高斯输入（如单位球面上的均匀分布和椭球状分布），该算法仍能实现线性收敛。
• 对于双曲正切激活函数，所提方法优于Double Convotron（后者无法收敛），表明对非对称和非线性激活函数具有鲁棒性。
• 理论分析通过使用一致集中结果避免了样本分割，相比依赖样本分割或强分布假设的先前工作，提升了样本效率。