[论文解读] Near-Optimal Multi-Agent Learning for Safe Coverage Control

Manish Prajapat, Matteo Turchetta+2 more|arXiv (Cornell University)|Oct 12, 2022

Adversarial Robustness in Machine Learning被引用 5

一句话总结

本文提出SafeMaC，一种新颖的多智能体强化学习算法，用于在环境密度未知和存在安全约束条件下的安全覆盖控制。通过将覆盖建模为条件线性子模函数，并结合一种新型探索-利用算法（MaCOpt）与安全探索扩展，SafeMaC在保证可证明安全性的前提下实现了近似最优覆盖，在合成环境与真实世界生物多样性监测任务中均优于基线方法。

ABSTRACT

In multi-agent coverage control problems, agents navigate their environment to reach locations that maximize the coverage of some density. In practice, the density is rarely known $ extit{a priori}$, further complicating the original NP-hard problem. Moreover, in many applications, agents cannot visit arbitrary locations due to $ extit{a priori}$ unknown safety constraints. In this paper, we aim to efficiently learn the density to approximately solve the coverage problem while preserving the agents' safety. We first propose a conditionally linear submodular coverage function that facilitates theoretical analysis. Utilizing this structure, we develop MacOpt, a novel algorithm that efficiently trades off the exploration-exploitation dilemma due to partial observability, and show that it achieves sublinear regret. Next, we extend results on single-agent safe exploration to our multi-agent setting and propose SafeMac for safe coverage and exploration. We analyze SafeMac and give first of its kind results: near optimal coverage in finite time while provably guaranteeing safety. We extensively evaluate our algorithms on synthetic and real problems, including a bio-diversity monitoring task under safety constraints, where SafeMac outperforms competing methods.

研究动机与目标

• 解决在兴趣密度与安全约束事先未知的情况下，多智能体覆盖控制的挑战。
• 克服覆盖控制的NP难问题以及在部分可观察环境中的探索-利用权衡问题。
• 在探索过程中确保可证明的安全性，防止真实部署中发生灾难性故障。
• 开发一种样本高效的算法，平衡环境学习与高覆盖性能。
• 在极端天气约束下的真实世界应用（如生物多样性监测）中展示算法的有效性。

提出的方法

• 将覆盖目标建模为条件线性子模函数，以支持理论分析与高效优化。
• 提出MaCOpt，一种新颖算法，在无约束设定下通过平衡探索与利用实现次线性遗憾。
• 将单智能体安全探索算法GoOSE扩展至多智能体设置，实现安全主动学习。
• 将MaCOpt与安全探索相结合，形成SafeMaC，实现在学习环境过程中保证安全性。
• 使用高斯过程建模未知密度与安全函数，并通过学习到的超参数提升鲁棒性。
• 在每个智能体的决策步骤中采用贪婪选择并施加安全约束，确保可行性与可扩展性。

实验结果

研究问题

• RQ1 我们能否设计一种多智能体学习算法，在未知密度与约束条件下实现近似最优覆盖，同时保证安全性？
• RQ2 当覆盖目标未知且仅部分可观测时，如何高效平衡探索与利用？
• RQ3 在可证明安全的多智能体覆盖算法中，其理论性能保证（以遗憾与收敛性衡量）是什么？
• RQ4 与最先进方法相比，所提出的SafeMaC算法在样本效率与覆盖质量方面表现如何？
• RQ5 该算法在更大规模区域与更多智能体数量下是否能有效扩展，同时保持安全性和性能？

主要发现

• SafeMaC 在有限时间内实现近似最优覆盖，同时可证明保证安全性，这是多智能体安全覆盖设置下的首个此类理论结果。
• 在无约束设定下，MaCOpt 实现了次线性累积遗憾，其收敛速度与最终覆盖值优于基于UCB的基线方法。
• 在生物多样性监测任务中，SafeMaC 在更少样本下找到更优解，且不探索不安全区域，优于PassiveMaC与两阶段方法。
• SafeMaC 在不同领域尺寸（30×30至60×60）与智能体数量（3至15）下均表现出可扩展性，维持高绩效与样本效率。
• 该算法对超参数选择具有鲁棒性，在不同高斯过程超参数与环境实例下均表现一致。
• 在障碍物密集环境中，SafeMaC 能够高效处理约束，实现与两阶段方法相当的覆盖水平，但探索量显著减少。