[论文解读] Theoretical foundation for CMA-ES from information geometric perspective

Youhei Akimoto, Yuichi Nagata+2 more|arXiv (Cornell University)|Jun 4, 2012

Face and Expression Recognition参考文献 21被引用 4

一句话总结

本文利用信息几何为协方差矩阵自适应进化策略（CMA-ES）建立了理论基础，表明其参数更新等价于为最大化期望适应度而进行的自然梯度学习。关键结果是，CMA-ES 在未显式计算 Fisher 信息矩阵逆矩阵的情况下，隐式执行了自然梯度上升，从而解释了其默认学习率的有效性，并将其与广义期望最大化（GEM）框架联系起来。

ABSTRACT

This paper explores the theoretical basis of the covariance matrix adaptation evolution strategy (CMA-ES) from the information geometry viewpoint. To establish a theoretical foundation for the CMA-ES, we focus on a geometric structure of a Riemannian manifold of probability distributions equipped with the Fisher metric. We define a function on the manifold which is the expectation of fitness over the sampling distribution, and regard the goal of update of the parameters of sampling distribution in the CMA-ES as maximization of the expected fitness. We investigate the steepest ascent learning for the expected fitness maximization, where the steepest ascent direction is given by the natural gradient, which is the product of the inverse of the Fisher information matrix and the conventional gradient of the function. Our first result is that we can obtain under some types of parameterization of multivariate normal distribution the natural gradient of the expected fitness without the need for inversion of the Fisher information matrix. We find that the update of the distribution parameters in the CMA-ES is the same as natural gradient learning for expected fitness maximization. Our second result is that we derive the range of learning rates such that a step in the direction of the exact natural gradient improves the parameters in the expected fitness. We see from the close relation between the CMA-ES and natural gradient learning that the default setting of learning rates in the CMA-ES seems suitable in terms of monotone improvement in expected fitness. Then, we discuss the relation to the expectation-maximization framework and provide an information geometric interpretation of the CMA-ES.

研究动机与目标

• 利用信息几何为 CMA-ES 算法提供理论依据。
• 研究 CMA-ES 与在概率分布的黎曼流形上的自然梯度学习之间的关系。
• 解释 CMA-ES 中默认学习率为何能有效确保期望适应度的单调提升。
• 从信息几何的角度将 CMA-ES 解释为广义期望最大化（GEM）算法。
• 建立 CMA-ES 与自然梯度方法之间的联系，特别是在参数更新动力学方面。

提出的方法

• 作者将采样分布建模为配备 Fisher 度量的黎曼流形上的多元正态分布。
• 他们在该流形上定义期望适应度为一个函数，并通过自然梯度分析最速上升，其中自然梯度为 Fisher 信息矩阵的逆与常规梯度的乘积。
• 在多元正态分布的特定参数化下，无需显式求逆 Fisher 信息矩阵即可计算期望适应度的自然梯度。
• 证明 CMA-ES 的参数更新规则在数学上等价于基于样本估计自然梯度的自然梯度学习。
• 推导出一组学习率范围，当沿精确自然梯度方向更新时，可保证期望适应度的单调提升。
• 将 CMA-ES 与期望最大化（EM）框架进行比较，并将其解释为一种广义 EM（GEM）算法，同时考虑 KL 散度和适应度提升两项。

实验结果

研究问题

• RQ1 CMA-ES 的参数更新规则如何与多元正态分布流形上的自然梯度学习相关联？
• RQ2 在特定参数化下，是否可以无需显式求逆 Fisher 信息矩阵即可计算期望适应度的自然梯度？
• RQ3 当沿精确自然梯度方向更新时，何种学习率范围可确保期望适应度的单调提升？
• RQ4 从信息几何结构和收敛性角度比较 CMA-ES 与 EM 和 GEM 框架的异同？
• RQ5 CMA-ES 的信息几何解释如何与由适应度加权采样定义的目标分布相关联？

主要发现

• CMA-ES 的参数更新规则在数学上等价于在采样分布下为最大化期望适应度而进行的自然梯度学习。
• 在多元正态分布的特定参数化下，期望适应度的自然梯度可直接从样本中估计，而无需计算 Fisher 信息矩阵的逆。
• CMA-ES 中使用的默认学习率是合理的，因为其处于一个可保证沿精确自然梯度方向更新时期望适应度单调提升的范围内。
• CMA-ES 可被解释为一种广义 EM（GEM）算法，其同时优化了与目标分布的 KL 散度和期望适应度，而标准 EM 仅最大化其中一项。
• 信息几何视角揭示，CMA-ES 平衡了适应度提升中的两个分量：采样分布的变化和适应度加权目标分布的变化，从而提供了比标准 EM 更稳健的更新机制。
• 自然梯度形式化为 CMA-ES 提供了坚实的理论基础，并为未来工作中的更优收敛性理论和更高效的参数更新提供了潜在方向。