[论文解读] The CMA Evolution Strategy: A Tutorial

Nikolaus Hansen|arXiv (Cornell University)|Apr 4, 2016

Evolutionary Algorithms and Applications参考文献 26被引用 617

一句话总结

本文介绍了用于单目标、非精英主义连续优化的 CMA-ES 算法，详细阐述协方差矩阵自适应、步长控制，以及带有 Matlab 参考实现的实际实现要点。

ABSTRACT

This tutorial introduces the CMA Evolution Strategy (ES), where CMA stands for Covariance Matrix Adaptation. The CMA-ES is a stochastic, or randomized, method for real-parameter (continuous domain) optimization of non-linear, non-convex functions. We try to motivate and derive the algorithm from intuitive concepts and from requirements of non-linear, non-convex search in continuous domain.

研究动机与目标

• 动机与推导 CMA-ES 以用于非线性、非凸的连续优化。
• 解释从多元正态分布抽样以及协方差在搜索分布中的作用。
• 描述选择、重组和均值移动策略。
• 详细说明协方差矩阵自适应机制（秩一更新与秩μ更新）及通过进化路径的累积。
• 给出步长控制、算法摘要，以及在实数值优化中的实际实现考量。

提出的方法

• 将搜索分布建模为以均值 m 和协方差 C 的多元正态分布，并描述用于采样的其平方根(C^{1/2})。
• 使用秩一更新和秩μ更新来根据选定的子代调整 C，学习率为 c1 和 c_mu。
• 通过进化路径 p 实现累积，以稳定协方差更新并提高不变性。
• 通过一个独立的自适应机制控制步长 sigma，使用一个进化路径和阻尼参数 d_sigma。
• 推导包括初始化、采样、选择、重组（mu/.., lambda-ES 符号表示法）和终止准则在内的完整算法框架。
• 提供实现指南，包括数值考虑、界限约束，以及 MATLAB 源代码。

实验结果

研究问题

• RQ1 一个连续黑箱优化器如何高效地将其搜索分布适应目标函数的几何结构？
• RQ2 在实值空间中，用于引导搜索方向的协方差矩阵和步长自适应的有效机制是什么？
• RQ3 如何将秩一更新和秩μ更新与进化路径结合起来，以维持不变性特性和稳定性？
• RQ4 在现实问题中实现 CMA-ES 时，哪些实际注意事项（数值鲁棒性、边界、约束、终止）是必不可少的？

主要发现

• CMA-ES 是在非线性、非凸场景中的实参数优化的鲁棒随机方法。
• 通过秩一和秩μ更新进行的协方差矩阵自适应使搜索分布能够学习并与目标函数的地形对齐。
• 通过进化路径的累积使更新稳定，并在实践中提高算法的不变性特性。
• 通过进化路径进行步长控制，与协方差适应相辅相成，以平衡探索与开发。
• 该教程提供了详细的算法摘要和实用 MATLAB 代码以帮助实现。
• 该框架将特征分解、从多元正态分布采样以及通过非精英选择的迭代改进联系在一起。