[论文解读] Statistical theory for image classification using deep convolutional neural networks with cross-entropy loss under the hierarchical max-pooling model

Michael Köhler, Sophie Langer|arXiv (Cornell University)|Nov 27, 2020

Neural Networks and Applications参考文献 30被引用 11

一句话总结

本文为使用交叉熵损失进行图像分类的深度卷积神经网络（CNNs）建立了统计理论，证明在后验概率满足平滑性和结构性假设的前提下，误分类风险的收敛速率与图像维度无关。关键结果表明，CNNs 实现了维度压缩，解释了其在高维输入下经验性能优越的原因。

ABSTRACT

Convolutional neural networks (CNNs) trained with cross-entropy loss have proven to be extremely successful in classifying images. In recent years, much work has been done to also improve the theoretical understanding of neural networks. Nevertheless, it seems limited when these networks are trained with cross-entropy loss, mainly because of the unboundedness of the target function. In this paper, we aim to fill this gap by analyzing the rate of the excess risk of a CNN classifier trained by cross-entropy loss. Under suitable assumptions on the smoothness and structure of the a posteriori probability, it is shown that these classifiers achieve a rate of convergence which is independent of the dimension of the image. These rates are in line with the practical observations about CNNs.

研究动机与目标

• 填补使用交叉熵损失训练的深度CNNs在图像分类中统计理论的空白。
• 在后验概率的合理结构性假设下，分析误分类风险向最优风险收敛的速率。
• 证明使用交叉熵损失的CNNs实现了维度压缩，避免了维度灾难。
• 为CNNs在实际图像分类任务中表现出的强劲经验性能提供理论依据。

提出的方法

• 本研究将图像分类建模为二分类问题，其中输入图像位于 [0,1]^{d1×d2}，标签属于 {−1,1}。
• 使用交叉熵损失作为0/1损失的代理，利用其Fisher一致性以确保最优决策边界。
• 构建了一种分层最大池化CNN架构，结合两种网络结构：一种具有 L_n^{(1)} 层，将函数 g_{k,s} 近似到 O((L_n^{(1)})^{-2p/4}) 的误差；另一种具有 L_n^{(2)} 层，用于近似对数似然函数 f_φ*。
• 通过浓度不等式和逼近引理（引理6、7、8、9）推导理论边界，以控制期望风险与经验风险之间的差异。
• 通过链式论证将逼近误差和估计误差边界相结合，最终确立收敛速率为 O((log n)^2 · n^{-min{p/(2p+4), 1/4}})。
• 分析依赖于后验概率 η(x) 的平滑性和结构性假设，特别是其属于具有平滑参数 p 的Hölder类。

实验结果

研究问题

• RQ1 使用交叉熵损失训练的深度CNNs能否实现与图像维度无关的误分类风险收敛速率？
• RQ2 在后验概率 η(x) 的何种结构性假设下，维度灾难不会影响CNN的性能？
• RQ3 CNNs中的分层最大池化结构如何在统计估计中实现维度压缩？
• RQ4 在平滑性条件下，使用交叉熵损失的CNNs的误分类风险理论收敛速率是多少？

主要发现

• 使用交叉熵损失训练的CNNs的误分类风险收敛速率为 O((log n)^2 · n^{-min{p/(2p+4), 1/4}})，与图像维度 d1×d2 无关。
• 该速率在后验概率 η(x) 具有平滑参数 p ≥ 1 的Hölder连续性假设下实现。
• 理论分析证实，由于其分层最大池化结构和归纳偏置，CNNs 避免了维度灾难。
• 收敛速率通过平衡网络深度带来的逼近误差与训练样本量带来的估计误差而获得，最优权衡导致了所述速率。
• 该结果为CNNs在图像分类中经验性能的优越性提供了统计基础，尤其当底层数据结构具有平滑性时。