[论文解读] Sparse Deep Stacking Network for Image Classification

Jun Li, Heyou Chang+1 more|arXiv (Cornell University)|Jan 5, 2015

Advanced Image and Video Retrieval Techniques参考文献 33被引用 29

一句话总结

该论文提出了一种稀疏深度堆叠网络（S-DSN），通过在简化的神经网络模块（SNNM）中引入组稀疏正则化（$l_{1}/l_{2}$ 范数），提升了图像分类性能，实现了对判别性稀疏表示的高效学习。该模型仅使用线性分类器即在 15 Scene 数据集上达到 98.8% 的准确率，优于包括 LC-KSVD、DSN 和 DeepSC 在内的最先进方法。

ABSTRACT

Sparse coding can learn good robust representation to noise and model more higher-order representation for image classification. However, the inference algorithm is computationally expensive even though the supervised signals are used to learn compact and discriminative dictionaries in sparse coding techniques. Luckily, a simplified neural network module (SNNM) has been proposed to directly learn the discriminative dictionaries for avoiding the expensive inference. But the SNNM module ignores the sparse representations. Therefore, we propose a sparse SNNM module by adding the mixed-norm regularization (l1/l2 norm). The sparse SNNM modules are further stacked to build a sparse deep stacking network (S-DSN). In the experiments, we evaluate S-DSN with four databases, including Extended YaleB, AR, 15 scene and Caltech101. Experimental results show that our model outperforms related classification methods with only a linear classifier. It is worth noting that we reach 98.8% recognition accuracy on 15 scene.

研究动机与目标

• 为解决稀疏编码推理过程中的高计算成本，同时保留其对噪声的鲁棒性以及对高阶特征的建模能力。
• 克服传统深度堆叠网络（DSN）在隐藏层中忽略稀疏表示的局限性。
• 在不增加模型复杂度或连接数的前提下，将稀疏表示学习集成到 SNNM 模块中。
• 构建一种可扩展的深层架构，在保持快速推理的同时提升分类准确率，且仅依赖线性分类器。

提出的方法

• 通过在隐藏表示中引入 $l_{1}/l_{2}$ 范数正则化，提出一种稀疏 SNNM 模块，以强制实现组稀疏性。
• 在 SNNM 模块中使用 ReLU 和 sigmoid 激活函数，相比传统仅使用 sigmoid 的设计，提升了训练速度与性能。
• 将多个稀疏 SNNM 模块堆叠形成深度堆叠网络（S-DSN），实现分层特征抽象。
• 通过凸优化求解底层权重，通过梯度下降求解高层权重，以确保判别性字典学习。
• 采用空间金字塔特征和随机人脸特征作为输入，以评估模型在不同数据集上的泛化能力。
• 使用线性分类器进行最终预测，表明模型的优势在于表征学习，而非复杂的非线性决策边界。

实验结果

研究问题

• RQ1 通过 $l_{1}/l_{2}$ 正则化学习到的稀疏表示是否能在保持深度网络快速推理的同时提升图像分类准确率？
• RQ2 将稀疏性整合到 SNNM 模块中是否能带来优于标准 DSN 或 LC-KSVD 等稀疏编码方法的性能？
• RQ3 激活函数的选择（ReLU 与 sigmoid）对 S-DSN 中稀疏 SNNM 模块的性能有何影响？
• RQ4 在 S-DSN 框架中，增加隐藏单元数量或层数在多大程度上能提升分类准确率？
• RQ5 S-DSN 是否能仅使用线性分类器即实现最先进性能，超越更复杂的深度模型？

主要发现

• S-DSN(relu)-1 在 15 Scene 数据集上达到 98.8% 的识别准确率，显著优于 LC-KSVD（高出 5.9%）及其他深度模型。
• 在 Caltech101 数据集上，S-DSN(relu)-1 在每类仅 30 个样本的情况下达到 76.2% 的准确率，优于 DSN（高出 1.5%）和 LC-KSVD（高出 2.6%）。
• 该模型在不同隐藏单元数量下均保持高准确率，且随着单元数从 100 增加到 3000，性能持续提升。
• 增加网络层数可提升分类准确率，证实了 S-DSN 中深层分层特征抽象的优势。
• S-DSN(sigm)-1 和 S-DSN(relu)-1 在所有数据集上均优于 DSN 及其他字典学习方法，表明稀疏性与更优激活函数的优越性。
• 混淆矩阵显示，工业和商店类别最常被误分类，表明这两类可能存在类别相似性或特征模糊性。