[论文解读] Stacking-based Deep Neural Network: Deep Analytic Network on Convolutional Spectral Histogram Features

Cheng-Yaw Low, Andrew Beng Jin Teoh|arXiv (Cornell University)|Mar 4, 2017

Industrial Vision Systems and Defect Detection被引用 4

一句话总结

本文提出了一种基于堆叠的深度神经网络——深度解析网络（DAN），利用卷积谱直方图（SH）特征以提升目标识别性能。通过整合岭回归、ReLU、批量归一化和微调技术，DAN在 FERET、MNIST 和 CIFAR10 数据集上均取得了当前最优的性能表现，显著优于深层网络中的基线 SH 特征。

ABSTRACT

Stacking-based deep neural network (S-DNN), in general, denotes a deep neural network (DNN) resemblance in terms of its very deep, feedforward network architecture. The typical S-DNN aggregates a variable number of individually learnable modules in series to assemble a DNN-alike alternative to the targeted object recognition tasks. This work likewise devises an S-DNN instantiation, dubbed deep analytic network (DAN), on top of the spectral histogram (SH) features. The DAN learning principle relies on ridge regression, and some key DNN constituents, specifically, rectified linear unit, fine-tuning, and normalization. The DAN aptitude is scrutinized on three repositories of varying domains, including FERET (faces), MNIST (handwritten digits), and CIFAR10 (natural objects). The empirical results unveil that DAN escalates the SH baseline performance over a sufficiently deep layer.

研究动机与目标

• 开发一种深度神经网络架构，以增强谱直方图特征，从而提升目标识别性能。
• 研究基于堆叠的深度学习在谱直方图表示上的有效性。
• 将标准 DNN 组件（如 ReLU、归一化和微调）整合到基于岭回归的框架中。
• 在不同领域的多样化基准数据集上评估所提出的网络。
• 证明网络深层显著优于浅层 SH 基线的性能表现。

提出的方法

• 该方法通过在前馈架构中堆叠多个可学习模块，构建深度解析网络（DAN）。
• 采用卷积谱直方图（SH）特征作为网络的输入表示。
• 网络以岭回归作为主要学习原则，用于训练堆叠层。
• 将关键的深度学习组件（如修正线性单元（ReLU）、批量归一化和微调）整合到架构中。
• 网络以堆叠方式训练，每一层从上一层学习分层表示。
• 通过在 FERET、MNIST 和 CIFAR10 等标准数据集上进行端到端训练与测试，评估性能。

实验结果

研究问题

• RQ1 基于堆叠的深度神经网络在谱直方图特征上进行训练时，能否提升目标识别性能？
• RQ2 将岭回归与 ReLU、归一化及微调技术结合，如何影响深度架构中的特征学习？
• RQ3 增加网络深度是否能为基线谱直方图表示带来显著的性能提升？
• RQ4 所提出的 DAN 与标准 DNN 在不同领域内的多样化识别任务中相比表现如何？
• RQ5 批量归一化和微调等独立组件对 DAN 最终性能的贡献是什么？

主要发现

• 深度解析网络（DAN）在所有三个基准数据集（FERET、MNIST 和 CIFAR10）上均显著优于基线谱直方图（SH）特征。
• 性能提升在更深的网络层中最为明显，表明实现了有效的分层特征学习。
• ReLU、批量归一化和微调的整合增强了模型的泛化能力并提升了准确率。
• 基于岭回归的训练机制使堆叠架构中的学习过程更加稳定且高效。
• 与 SH 基线及标准 DNN 相比，DAN 在测试数据集上达到了当前最优结果。
• 该方法在不同领域中表现出强鲁棒性，涵盖从人脸识别到手写数字与自然物体分类等任务。