[论文解读] Time Efficiency in Optimization with a Bayesian-Evolutionary Algorithm

Gongjin Lan, Jakub M. Tomczak+2 more|arXiv (Cornell University)|May 4, 2020

Advanced Multi-Objective Optimization Algorithms参考文献 23被引用 11

一句话总结

本文提出BEA，一种混合贝叶斯-进化算法，通过先使用贝叶斯优化（BO）实现数据高效的探索，再在BO计算成本过高时切换至进化算法（EA），从而提升优化的时间效率。BEA通过聚类初始种群和自适应高斯变异实现知识迁移，在基准函数和机器人控制任务上，其时间效率和最终目标值均优于BO与EA。

ABSTRACT

Not all generate-and-test search algorithms are created equal. Bayesian Optimization (BO) invests a lot of computation time to generate the candidate solution that best balances the predicted value and the uncertainty given all previous data, taking increasingly more time as the number of evaluations performed grows. Evolutionary Algorithms (EA) on the other hand rely on search heuristics that typically do not depend on all previous data and can be done in constant time. Both the BO and EA community typically assess their performance as a function of the number of evaluations. However, this is unfair once we start to compare the efficiency of these classes of algorithms, as the overhead times to generate candidate solutions are significantly different. We suggest to measure the efficiency of generate-and-test search algorithms as the expected gain in the objective value per unit of computation time spent. We observe that the preference of an algorithm to be used can change after a number of function evaluations. We therefore propose a new algorithm, a combination of Bayesian optimization and an Evolutionary Algorithm, BEA for short, that starts with BO, then transfers knowledge to an EA, and subsequently runs the EA. We compare the BEA with BO and the EA. The results show that BEA outperforms both BO and the EA in terms of time efficiency, and ultimately leads to better performance on well-known benchmark objective functions with many local optima. Moreover, we test the three algorithms on nine test cases of robot learning problems and here again we find that BEA outperforms the other algorithms.

研究动机与目标

• 为解决现有优化比较仅依赖函数评估次数、忽略计算时间差异的局限性。
• 提出时间效率的正式度量标准：单位计算时间内目标值的期望增益。
• 开发一种混合算法，利用BO早期的数据效率与EA后期的时间效率，提升整体性能。
• 研究从BO到EA的有效知识迁移方法，以在切换过程中保持解的质量。
• 在合成基准函数和真实世界机器人控制问题上验证所提出的BEA算法。

提出的方法

• 将时间效率定义为每秒计算时间对应的目标值期望增益。
• 基于对计算成本持续上升的实证观察，当BO的时间效率低于EA时，提出从BO切换至EA。
• 通过聚类BO生成的前50%解，并从每个聚类中选取最优个体，作为EA种群的初始种子，实现从BO到EA的知识迁移。
• 在EA中实现自适应高斯变异策略，其中变异步长根据测得的时间效率（每秒增益）进行调整。
• 基于初步实验，推荐将250–300次函数评估作为从BO切换至EA的阈值。
• 将BO与EA结合为两阶段优化过程：第一阶段使用BO直至切换点；第二阶段运行经知识迁移且具备自适应变异的EA。

实验结果

研究问题

• RQ1 随着时间推移，贝叶斯优化与进化算法在时间效率（即单位计算时间内的增益）方面如何比较？
• RQ2 贝叶斯优化的时间效率在何时低于进化算法，使得切换成为有益选择？
• RQ3 从贝叶斯优化向进化算法迁移知识的最有效方法是什么，以在切换过程中保持解的质量？
• RQ4 结合BO与EA的混合算法是否能在具有多个局部最优解的问题上，实现优于单一算法的时间效率和最终目标性能？
• RQ5 所提出的BEA算法是否在真实世界机器人控制任务中，无论在仿真环境还是物理机器人上，均优于BO与EA？

主要发现

• 在具有多个局部最优解的基准函数上，BEA在时间效率方面优于BO与EA，以更少的计算时间获得更高的目标值。
• 在机器人控制任务中，BEA学习到的控制器在性能上优于BO与EA，实测中BEA/BO性能比最高达168.2%。
• 在定向移动任务中，使用BEA学习控制器的机器人行进1.72米，显著超过BO控制器，表现出更优的行为性能。
• 在旋转任务中，BEA学习控制器使机器人旋转超过2弧度，同时保持在中心附近（位移不超过10厘米），优于BO控制器。
• 在物理机器人上的九个测试案例中，BEA学习控制器的表现始终优于BO学习控制器，验证了仿真结果在真实部署中的有效性。
• 通过实证确定，从BO切换至EA的最佳时机约为250–300次函数评估，实现了早期数据效率与后期时间效率的平衡。