[论文解读] Survey on Evolutionary Deep Learning: Principles, Algorithms, Applications and Open Issues

Nan Li, Lianbo Ma+4 more|arXiv (Cornell University)|Aug 23, 2022

Evolutionary Algorithms and Applications被引用 4

一句话总结

本综述系统性地分析了进化深度学习（EDL）作为一种自动化机器学习（AutoML）框架，通过整合进化计算（EC）来优化深度学习流水线——从特征工程、模型生成到部署。该研究提出了一种新颖的EDL分类法，详细阐述了解决方案表示与搜索范式，并识别出关键挑战与未来研究方向。

ABSTRACT

Over recent years, there has been a rapid development of deep learning (DL) in both industry and academia fields. However, finding the optimal hyperparameters of a DL model often needs high computational cost and human expertise. To mitigate the above issue, evolutionary computation (EC) as a powerful heuristic search approach has shown significant merits in the automated design of DL models, so-called evolutionary deep learning (EDL). This paper aims to analyze EDL from the perspective of automated machine learning (AutoML). Specifically, we firstly illuminate EDL from machine learning and EC and regard EDL as an optimization problem. According to the DL pipeline, we systematically introduce EDL methods ranging from feature engineering, model generation, to model deployment with a new taxonomy (i.e., what and how to evolve/optimize), and focus on the discussions of solution representation and search paradigm in handling the optimization problem by EC. Finally, key applications, open issues and potentially promising lines of future research are suggested. This survey has reviewed recent developments of EDL and offers insightful guidelines for the development of EDL.

研究动机与目标

• 为进化深度学习（EDL）作为解决深度学习中超参数与网络结构调优所带来高计算成本和专家依赖性问题的系统性综述。
• 基于‘演化什么’、‘在何处演化’和‘如何演化’三个维度，建立一种新的EDL分类法。
• 分析基于进化计算（EC）的EDL在特征工程、模型生成和模型部署各阶段的解决方案表示与搜索范式。
• 识别EDL中的关键挑战，包括公平基准测试、可解释性与可扩展性，并提出未来研究方向。

提出的方法

• 本文将EDL建模为一个复杂的优化问题，利用进化计算（EC）自动化搜索最优的深度学习配置。
• 提出一种新颖的分类法，按被演化组件（如特征、架构、超参数）及深度学习流水线阶段对EDL方法进行分类。
• 综述分析了EC用于EDL时采用的各种解决方案表示（如基因型到表型的映射）与搜索范式（如多目标优化、稳态优化、带局部搜索的稳态优化）。
• 从鲁棒性、搜索能力与基准性能等方面，对比EC方法与非EC方法（如强化学习、基于梯度的方法）的差异。
• 评估EDL在图像识别、自然语言处理与医学诊断等实际领域中的应用，突出其性能增益与局限性。
• 识别并讨论开放性问题，如缺乏标准化基准、可解释性差，以及在处理噪声数据或小规模数据集时的挑战。

Figure 1 . An overview of DL, driven by domain knowledge or evolutionary computation, where the life of DL gets through problem, data collection, feature engineering, model generation and model deployment.

实验结果

研究问题

• RQ1 如何系统性地应用进化计算，以自动化实现从特征工程、模型生成到部署的整个深度学习流水线？
• RQ2 在深度学习流水线的不同阶段，基于EC的EDL最有效的解决方案表示与搜索范式是什么？
• RQ3 基于EC的EDL方法与非EC替代方案（如强化学习、基于梯度的方法）在性能、鲁棒性与效率方面有何差异？
• RQ4 在真实应用中，EDL方法在公平基准测试、可解释性与可扩展性方面面临哪些关键挑战？
• RQ5 在推动端到端、可扩展且可解释的进化深度学习方面，哪些未来研究方向最具前景？

主要发现

• EDL方法在超参数与网络结构搜索中表现出具有竞争力的性能与鲁棒性，通常在CIFAR-10与ImageNet等标准基准上优于人工设计及部分非EC方法。
• 缺乏统一的基准与评估标准，导致EDL方法之间的比较存在不公平现象，尤其在神经架构搜索（NAS）与模型压缩任务中，不同正则化技术（如cutout、ScheduledDropPath）对性能影响显著。
• 可解释性仍是主要挑战，因为基于EC的EDL本质上是黑箱过程，缺乏对为何选择特定特征或架构的理论依据。
• 尽管EDL在图像相关任务中表现优异，但在自然语言处理任务中仍落后于人工设计的模型（如GPT-2、Transformer-XL），表明在NLP应用中存在性能差距。
• 当前EDL框架在应对真实世界数据挑战（如标签噪声、数据不平衡、小规模数据集）方面表现欠佳，提示需整合自监督或无监督学习技术。
• 端到端EDL仍面临重大挑战，因需联合优化流水线中所有组件，但被识别为实现AutoML全自动化的重要未来方向。

Figure 2 . Total publications and citations referring to EC & DL by years from Web of Science until July 2022.