[论文解读] Optimization of Convolutional Neural Network using Microcanonical Annealing Algorithm

Vina Ayumi, L. M. Rasdi Rere+2 more|arXiv (Cornell University)|Oct 7, 2016

Generative Adversarial Networks and Image Synthesis参考文献 18被引用 15

一句话总结

本文提出微正则退火（MA），一种新颖的元启发式优化技术，以提升卷积神经网络（CNN）的性能。通过在微正则系综中采用基于能量的搜索，MA在分类准确率方面超越了标准CNN，在CIFAR-10上实现了99.14%的top-1准确率——超过当前最先进方法——尽管计算时间增加了1.02倍至1.38倍。

ABSTRACT

Convolutional neural network (CNN) is one of the most prominent architectures and algorithm in Deep Learning. It shows a remarkable improvement in the recognition and classification of objects. This method has also been proven to be very effective in a variety of computer vision and machine learning problems. As in other deep learning, however, training the CNN is interesting yet challenging. Recently, some metaheuristic algorithms have been used to optimize CNN using Genetic Algorithm, Particle Swarm Optimization, Simulated Annealing and Harmony Search. In this paper, another type of metaheuristic algorithms with different strategy has been proposed, i.e. Microcanonical Annealing to optimize Convolutional Neural Network. The performance of the proposed method is tested using the MNIST and CIFAR-10 datasets. Although experiment results of MNIST dataset indicate the increase in computation time (1.02x - 1.38x), nevertheless this proposed method can considerably enhance the performance of the original CNN (up to 4.60\%). On the CIFAR10 dataset, currently, state of the art is 96.53\% using fractional pooling, while this proposed method achieves 99.14\%.

研究动机与目标

• 为解决深度CNN优化问题，其计算成本高昂且对超参数初始化敏感。
• 探索微正则退火（MA）这一受物理启发的元启发式方法，作为模拟退火或遗传算法等现有优化方法的替代方案。
• 评估MA在标准基准（如MNIST和CIFAR-10）上提升CNN准确率的有效性。
• 从准确率和训练时间角度，比较MA优化的CNN与标准CNN及最先进模型的性能。

提出的方法

• 所提方法将微正则退火（MA）集成到CNN的训练循环中，采用基于能量的搜索，而非依赖温度的接受准则。
• MA在微正则系综中运行，系统总能量守恒，状态转换根据能量变化接受，无需生成随机数或使用超越函数。
• 该算法使用“导体”在状态转换期间吸收或释放能量，确保能量守恒，并实现比传统模拟退火更快的收敛速度。
• CNN架构使用标准反向传播进行训练，但权重通过MA在参数空间中的搜索进行更新，邻域大小设为10，最大迭代次数固定为10。
• 关键超参数包括动能设为100，学习率α = 1，批量大小为100，实验在MNIST和CIFAR-10数据集上进行。
• 该方法通过修改MatConvNet实现，性能在不同训练轮次下进行评估。

实验结果

研究问题

• RQ1 与标准训练相比，微正则退火能否提升卷积神经网络在MNIST和CIFAR-10等标准图像数据集上的分类准确率？
• RQ2 MA优化的CNN与标准CNN相比，计算成本如何？时间上的增加是否由准确率提升所合理化？
• RQ3 在CNN训练中，MA是否优于现有元启发式优化方法（如和声搜索或模拟退火）？
• RQ4 在MNIST和CIFAR-10上，不同训练轮次下使用MA可实现的最大准确率提升是多少？
• RQ5 MA能否在CIFAR-10上实现最先进性能，特别是在与分数阶池化或大型ALL-CNN架构等方法比较时？

主要发现

• 在MNIST数据集上，MA优化的CNN在所有测试轮次中，准确率最高提升达4.60%，其中在第1轮时提升最大。
• 尽管计算成本更高，MA优化的CNN仍保持一致的性能优势，计算时间相比标准CNN增加了1.02倍至1.38倍。
• 在CIFAR-10数据集上，所提方法实现了99.14%的top-1准确率，显著优于当前最先进方法（分数阶池化方法为96.53%）及其他基准。
• MA优化的CNN超越了其他基于元启发式的优化方法，如和声搜索（准确率为72.28%），展现出更优的优化能力。
• 该方法在不同训练轮次中表现出鲁棒性，在MNIST上保持一致的准确率增益，在更复杂的CIFAR-10数据集上也展现出强大的泛化能力。
• 结果表明，MA是传统优化技术在深度学习中的可行且有效的替代方案，尤其适用于对准确率敏感的应用。