[论文解读] When Dictionary Learning Meets Deep Learning: Deep Dictionary Learning and Coding Network for Image Recognition with Limited Data

Hao Tang, Hong Liu+2 more|arXiv (Cornell University)|May 21, 2020

Advanced Image and Video Retrieval Techniques被引用 9

一句话总结

本文提出深度字典学习与编码网络（DDLCN），一种新型架构，用复合字典学习与编码层替代深度网络中的标准卷积层，以在数据有限的情况下增强图像识别的特征表示能力。通过在编码过程中施加局部性约束并堆叠分层字典，DDLCN 在多个基准测试中实现了最先进性能，且超参数更少、推理速度更快。

ABSTRACT

We present a new Deep Dictionary Learning and Coding Network (DDLCN) for image recognition tasks with limited data. The proposed DDLCN has most of the standard deep learning layers (e.g., input/output, pooling, fully connected, etc.), but the fundamental convolutional layers are replaced by our proposed compound dictionary learning and coding layers. The dictionary learning learns an over-complete dictionary for input training data. At the deep coding layer, a locality constraint is added to guarantee that the activated dictionary bases are close to each other. Then the activated dictionary atoms are assembled and passed to the compound dictionary learning and coding layers. In this way, the activated atoms in the first layer can be represented by the deeper atoms in the second dictionary. Intuitively, the second dictionary is designed to learn the fine-grained components shared among the input dictionary atoms, thus a more informative and discriminative low-level representation of the dictionary atoms can be obtained. We empirically compare DDLCN with several leading dictionary learning methods and deep learning models. Experimental results on five popular datasets show that DDLCN achieves competitive results compared with state-of-the-art methods when the training data is limited. Code is available at https://github.com/Ha0Tang/DDLCN.

研究动机与目标

• 解决在训练数据稀缺时图像识别泛化能力差的挑战。
• 克服传统字典学习与稀疏编码的局限性，如依赖大量非物理意义的“锚点”以及层级表征能力弱的问题。
• 将深度学习（分层特征抽象）与字典学习（稀疏、可解释的表征）的优势整合到统一框架中。
• 开发一种可训练、端到端兼容的网络，即使在训练样本有限的情况下仍保持高效与可扩展性。

提出的方法

• 用复合字典学习与编码层替代标准卷积层，从输入数据中学习过完备字典。
• 在编码过程中施加局部性约束，确保激活的字典原子在空间上邻近，以提高逼近精度与鲁棒性。
• 堆叠多个字典学习与编码层，形成分层表征，其中深层从上一层激活的原子中学习细粒度组件。
• 采用两阶段学习流程：首先通过 K-SVD 或类似方法预训练字典；其次在顶部使用线性 SVM 分类器对网络进行微调。
• 将学习到的字典集成到包含标准层（如池化、全连接层）的深度网络架构中，实现与标准训练和推理流程的兼容性。
• 使用联合目标函数优化网络，平衡稀疏性与局部性，通过 ℓ2-范数松弛提升计算效率。

实验结果

研究问题

• RQ1 在训练数据有限的情况下，深度字典学习框架是否能超越标准字典学习与深度 CNN？
• RQ2 在编码过程中施加局部性约束如何提升表征质量与分类准确率？
• RQ3 分层字典学习层在多级抽象层次上捕捉判别性低级特征的能力有多强？
• RQ4 与端到端 CNN 相比，用基于字典的层替代卷积层是否能减少超参数数量并提升训练效率？

主要发现

• DDLCN-2 在每类仅 500 个训练样本的 MNIST 上达到 99.02% 的准确率，优于大多数基线字典学习方法，且接近深度 CNN 的性能。
• DDLCN-6 在 MNIST 上达到 99.57% 的准确率，表明更深的分层字典学习可提升性能，但六层以上收益递减。
• 在 CIFAR-10 上每类仅 60 个训练样本时，DDLCN 达到 78.15% 的准确率，优于 VGG19 和 ResNet-18 等最先进方法在相同低数据设置下的表现。
• 该模型以显著更少的超参数获得具有竞争力的结果，且训练更高效，原因在于固定特征提取器与仅需线性 SVM 微调。
• MNIST 的混淆矩阵显示，最常混淆的类别为 (2,7)、(4,9) 和 (3,5)，表明尽管存在类别重叠，模型仍具鲁棒性。
• DDLCN-3、DDLCN-4 和 DDLCN-5 在性能上持续优于浅层版本，证实了深层分层表征学习的优势。