[论文解读] Rethinking Recurrent Neural Networks and Other Improvements for Image Classification

Nguyen Huu Phong, Bernardete Ribeiro|arXiv (Cornell University)|Jul 30, 2020

Advanced Neural Network Applications参考文献 92被引用 7

一句话总结

本文提出将循环神经网络（RNNs），包括长短期记忆网络（LSTM）和门控循环单元（GRU）作为卷积神经网络（ConvNets）中的关键层，用于图像分类，并结合端到端的多模型集成策略。该方法在SVHN（0.99）、Cifar-10（0.9852）、Cifar-100（0.9027）上达到最先进性能，并在Surrey数据集上创下新纪录（0.949），表明RNN不仅可用于序列生成任务，还能显著提升图像识别性能。

ABSTRACT

Over the long history of machine learning, which dates back several decades, recurrent neural networks (RNNs) have been used mainly for sequential data and time series and generally with 1D information. Even in some rare studies on 2D images, these networks are used merely to learn and generate data sequentially rather than for image recognition tasks. In this study, we propose integrating an RNN as an additional layer when designing image recognition models. We also develop end-to-end multimodel ensembles that produce expert predictions using several models. In addition, we extend the training strategy so that our model performs comparably to leading models and can even match the state-of-the-art models on several challenging datasets (e.g., SVHN (0.99), Cifar-100 (0.9027) and Cifar-10 (0.9852)). Moreover, our model sets a new record on the Surrey dataset (0.949). The source code of the methods provided in this article is available at https://github.com/leonlha/e2e-3m and http://nguyenhuuphong.me.

研究动机与目标

• 探究先进的RNN架构是否可超越其在序列数据中的传统应用，提升图像分类性能。
• 设计一种端到端的多模型集成方法，通过学习专家模型的预测结果来提升性能。
• 开发一种结合学习率调度与Softmax剪枝的训练策略，以提升模型准确率与效率。
• 在多样化的数据集上评估所提方法，包括SVHN、Cifar-10/100等具有挑战性的基准数据集。
• 证明将RNN集成到ConvNets中可实现与最先进模型相当或更优的性能表现。

提出的方法

• 将标准RNN、LSTM、GRU及双向RNN作为附加层集成到ConvNet架构中，用于处理2D图像数据中的空间特征。
• 采用一种新颖的端到端多模型集成（E2E-3M）方法，通过学习多个预训练模型的预测结果，实现专家知识的联合优化。
• 应用动态学习率策略与测试时增强技术，以提升在各类数据集上的收敛性与泛化能力。
• 利用Softmax层剪枝技术降低模型复杂度，同时保持高准确率，尤其在Fashion-MNIST等小型数据集上表现显著。
• 采用虚拟环境与基于Jupyter Notebook的实现方式以确保可复现性，代码已公开发布于GitHub。
• 在Surrey数据集上采用留一法交叉验证，以确保在真实世界约束条件下的稳健评估。

实验结果

研究问题

• RQ1 传统上用于1D序列数据的RNN能否被有效适配以提升ConvNets中2D图像分类的性能？
• RQ2 一种从专家模型预测中学习的端到端多模型集成方法，是否优于单模型或标准集成方法？
• RQ3 经过优化的训练策略（包括学习率调度与Softmax剪枝）是否能在计算资源有限的情况下达到或超越最先进性能？
• RQ4 RNN的集成对SVHN、Cifar-10/100及Surrey数据集等具有挑战性的基准测试集的准确率与效率有何影响？
• RQ5 所提方法是否能在包括ImageNet与iNaturalist在内的多样化架构与数据集上实现良好泛化？

主要发现

• 所提出的E2E-3M模型结合RNN集成在SVHN数据集上实现0.99的top-1准确率，达到最先进水平。
• 在Cifar-10上，模型达到0.9852的top-1准确率，与EfficientNetB5和InceptionResNetV2等领先模型表现相当。
• 在Cifar-100上，模型实现0.9027的top-1准确率，优于大多数先前方法，并与最佳报告结果持平。
• 在Surrey数据集上，模型实现0.949的top-1准确率，创下新纪录，较之前最先进方法提升1.4%。
• 端到端集成设计支持实时推理，适用于片上系统（system-on-a-chip）平台部署，克服了传统基于流水线的集成方法的局限性。
• Softmax剪枝与自适应学习率调度显著提升了训练效率与模型泛化能力，且未牺牲准确率。