[论文解读] Using Centroidal Voronoi Tessellations to Scale Up the Multi-dimensional Archive of Phenotypic Elites Algorithm

Vassilis Vassiliades, Konstantinos Chatzilygeroudis+1 more|arXiv (Cornell University)|Oct 18, 2016

Evolutionary Algorithms and Applications参考文献 27被引用 7

一句话总结

本文提出CVT-MAP-Elites，作为MAP-Elites算法的可扩展扩展，利用重心Voronoi镶嵌（CVT）将高维行为空间划分为固定数量且分布均匀的区域，从而实现对多样化、高性能解的高效探索与存档。该方法在迷宫导航和六足机器人行走等高维任务中保持了优异性能，相较于标准MAP-Elites在可扩展性方面表现更优，同时保持了解的质量。

ABSTRACT

The recently introduced Multi-dimensional Archive of Phenotypic Elites (MAP-Elites) is an evolutionary algorithm capable of producing a large archive of diverse, high-performing solutions in a single run. It works by discretizing a continuous feature space into unique regions according to the desired discretization per dimension. While simple, this algorithm has a main drawback: it cannot scale to high-dimensional feature spaces since the number of regions increase exponentially with the number of dimensions. In this paper, we address this limitation by introducing a simple extension of MAP-Elites that has a constant, pre-defined number of regions irrespective of the dimensionality of the feature space. Our main insight is that methods from computational geometry could partition a high-dimensional space into well-spread geometric regions. In particular, our algorithm uses a centroidal Voronoi tessellation (CVT) to divide the feature space into a desired number of regions; it then places every generated individual in its closest region, replacing a less fit one if the region is already occupied. We demonstrate the effectiveness of the new "CVT-MAP-Elites" algorithm in high-dimensional feature spaces through comparisons against MAP-Elites in maze navigation and hexapod locomotion tasks.

研究动机与目标

• 解决标准MAP-Elites在扩展至高维行为空间时领域数量呈指数级增长的问题。
• 实现在高维特征空间中对多样化、高性能解的有效探索与存档。
• 开发一种方法，在不随维度变化而改变领域数量的前提下，提升可扩展性。
• 在真实机器人任务（如迷宫导航和六足机器人行走）中评估所提出的CVT-MAP-Elites算法的性能。

提出的方法

• 该算法使用重心Voronoi镶嵌（CVT）将行为空间划分为k个分布均匀、形状良好的区域，且与维度无关。
• 每个生成的个体根据行为空间中的距离度量被分配至最近的CVT区域。
• 若某区域已被占用，则仅当新个体的适应度更高时，才替换原有个体。
• 通过在大量行为空间点上迭代执行k-means聚类计算CVT，以确保区域在空间上的均匀分布。
• 该方法支持任意维度的行为空间，并预先定义k（即领域数量），以控制计算成本。
• 采用欧氏距离和分数阶范数距离度量对算法进行评估，以检验其对度量选择的鲁棒性。

实验结果

研究问题

• RQ1 基于CVT的区域划分是否能实现在高维行为空间中的可扩展质量多样性优化？
• RQ2 在高维任务中，CVT-MAP-Elites与标准MAP-Elites在解的多样性与性能方面相比如何？
• RQ3 距离度量的选择（欧氏距离与分数阶范数）是否显著影响CVT-MAP-Elites的性能？
• RQ4 在进化机器人任务中，平衡探索、开发与泛化能力的最优领域数量（k）是多少？
• RQ5 在分布偏移场景（如受损机器人行走）下，CVT-MAP-Elites的性能表现如何？

主要发现

• CVT-MAP-Elites在可扩展性方面显著优于标准MAP-Elites，在标准MAP-Elites因领域数量指数爆炸而失效的高维行为空间（如250D）中仍能保持性能。
• 在迷宫导航任务中，使用20D和250D描述符及k=50时，优质解（距目标距离<100）的比例更高，表明覆盖范围与多样性得到提升。
• 在六足机器人行走任务中，k=10000在受损条件下表现最佳，而k=100000导致性能显著下降，表明存在一个最优的k范围。
• 欧氏距离与分数阶范数距离度量之间的性能无显著差异，表明算法对度量选择具有鲁棒性。
• 在进化性能方面（未受损机器人），较小的k值（如k=10）更优；而在泛化性能方面（受损情况），k∈{10,100,1000,10000}无显著差异。
• 分数阶范数在未受损情况下略有提升性能，但在受损场景中未观察到显著差异，表明度量选择对泛化能力的影响有限。