[论文解读] Unsupervised Behaviour Discovery with Quality-Diversity Optimisation

Luca Grillotti, Antoine Cully|arXiv (Cornell University)|Jun 10, 2021

Evolutionary Algorithms and Applications被引用 8

一句话总结

本文提出 AURORA，一种质量多样性（Quality-Diversity, QD）算法，可从原始感官数据中自主学习行为描述符，无需人工编码的描述符。通过结合无监督降维与 QD 优化，AURORA 发现了多样且高性能的机器人行为，其表现可与人工编码基线相媲美，同时在更多行为特征上捕捉到新颖性。

ABSTRACT

Quality-Diversity algorithms refer to a class of evolutionary algorithms designed to find a collection of diverse and high-performing solutions to a given problem. In robotics, such algorithms can be used for generating a collection of controllers covering most of the possible behaviours of a robot. To do so, these algorithms associate a behavioural descriptor to each of these behaviours. Each behavioural descriptor is used for estimating the novelty of one behaviour compared to the others. In most existing algorithms, the behavioural descriptor needs to be hand-coded, thus requiring prior knowledge about the task to solve. In this paper, we introduce: Autonomous Robots Realising their Abilities, an algorithm that uses a dimensionality reduction technique to automatically learn behavioural descriptors based on raw sensory data. The performance of this algorithm is assessed on three robotic tasks in simulation. The experimental results show that it performs similarly to traditional hand-coded approaches without the requirement to provide any hand-coded behavioural descriptor. In the collection of diverse and high-performing solutions, it also manages to find behaviours that are novel with respect to more features than its hand-coded baselines. Finally, we introduce a variant of the algorithm which is robust to the dimensionality of the behavioural descriptor space.

研究动机与目标

• 为解决质量多样性（QD）算法中人工编码行为描述符的局限性，此类描述符需要先验任务知识，且可能引入多样性偏差。
• 使机器人能够仅使用原始感官数据，自主发现一组多样且高性能的行为。
• 开发一种 QD 算法，以无监督方式学习有意义且低维的行为描述符。
• 通过一种新颖的容器大小控制机制，确保对所学行为描述符空间维度变化的鲁棒性。
• 在模拟机器人任务上评估该方法，并与传统人工编码的 QD 基线进行比较。

提出的方法

• AURORA 通过在 QD 优化阶段与编码器更新阶段之间交替迭代，逐步改进行为描述符的学习。
• 使用通过对比学习训练的神经自动编码器，将机器人控制器的原始感官数据编码为低维行为描述符。
• 基于容器内编码行为描述符之间的距离计算新颖性，采用 k-最近邻方法并结合排除性 ε-支配准则。
• 容器通过仅添加具有高适应度且相对于现有成员具备足够新颖性的个体，来维持多样性和性能。
• 采用容器大小控制（CSC）机制，利用比例控制回路动态调整容器大小，以维持目标大小。
• 定期使用当前容器中的感官数据重新训练编码器，以适应行为分布的演变。

实验结果

研究问题

• RQ1 QD 算法能否在无须人工编码规格的情况下，从原始感官数据中学习到有效的行为描述符？
• RQ2 AURORA 在行为覆盖范围和适应度方面，与传统人工编码 QD 基线相比，其性能和多样性如何？
• RQ3 AURORA 在多大程度上能捕捉到比人工编码描述符更广泛的行为新颖性？
• RQ4 AURORA 对所学行为描述符空间维度变化的鲁棒性如何？
• RQ5 AURORA 是否能泛化到人工编码描述符难以定义的复杂机器人任务中？

主要发现

• 在三种模拟机器人任务（迷宫导航、六足行走、冰球）中，AURORA 的性能与人工编码 QD 基线相当。
• 该算法发现的行为在比人工编码基线更多的特征上具有新颖性，表明其具有更广泛的行为多样性。
• AURORA-CSC（带容器大小控制的变体）在不同描述符空间维度下均能保持稳定的容器大小和性能。
• AURORA 的性能取决于感官数据相对于人工编码行为描述符的信息含量；当感官数据更丰富时，AURORA 能捕捉到更细微的行为差异。
• 容器大小控制机制能有效防止容器膨胀，即使在所学描述符空间维度发生变化时亦然。
• 该方法在实际部署中展现出潜力，但未来工作仍需在非重置、部分可观察的环境中对其进行评估。