[论文解读] Robust Multiple-Path Orienteering Problem: Securing Against Adversarial Attacks

Guangyao Shi, Lifeng Zhou+1 more|arXiv (Cornell University)|Mar 31, 2020

Robotic Path Planning Algorithms参考文献 36被引用 5

一句话总结

本文提出了鲁棒多路径探险问题（RMOP），以确保在最多 α 台机器人遭受敌对攻击时，团队整体性能仍具韧性。该文提出了一种基于单机器人探险算法子程序的离线近似框架，具有有界保证；同时提出一种基于蒙特卡洛树搜索（MCTS）的在线解决方案，将其建模为两人顺序博弈，仿真结果表明在海洋与隧道监测任务中，该方法对智能敌对攻击展现出更优的鲁棒性。

ABSTRACT

The multiple-path orienteering problem asks for paths for a team of robots that maximize the total reward collected while satisfying budget constraints on the path length. This problem models many multi-robot routing tasks such as exploring unknown environments and information gathering for environmental monitoring. In this paper, we focus on how to make the robot team robust to failures when operating in adversarial environments. We introduce the Robust Multiple-path Orienteering Problem (RMOP) where we seek worst-case guarantees against an adversary that is capable of attacking at most $α$ robots. We consider two versions of this problem: RMOP offline and RMOP online. In the offline version, there is no communication or replanning when robots execute their plans and our main contribution is a general approximation scheme with a bounded approximation guarantee that depends on $α$ and the approximation factor for single robot orienteering. In particular, we show that the algorithm yields a (i) constant-factor approximation when the cost function is modular; (ii) $\log$ factor approximation when the cost function is submodular; and (iii) constant-factor approximation when the cost function is submodular but the robots are allowed to exceed their path budgets by a bounded amount. In the online version, RMOP is modeled as a two-player sequential game and solved adaptively in a receding horizon fashion based on Monte Carlo Tree Search (MCTS). In addition to theoretical analysis, we perform simulation studies for ocean monitoring and tunnel information-gathering applications to demonstrate the efficacy of our approach.

研究动机与目标

• 解决在多机器人信息采集任务中，当最多 α 台机器人因敌对攻击或故障失效时，仍能维持团队性能的挑战。
• 开发一种鲁棒规划框架，确保在最坏情况失效场景下仍能保持性能，而非依赖单个机器人的容错能力。
• 在两种场景下对RMOP进行建模与求解：离线（执行期间无通信）与在线（可适应、滚动时域规划并支持动态重规划）。
• 通过在真实场景（如海洋监测与隧道探索）中的仿真，评估鲁棒规划策略对智能敌对攻击的有效性。
• 将所提出的基于MCTS的在线策略与基线方法进行比较，验证其在敌对条件下的性能优势。

提出的方法

• 将离线RMOP建模为一种通用近似方案，利用单机器人探险问题的有界近似算法作为子程序。
• 应用顺序贪心分配框架，将路径分配给各机器人，同时在最多 α 台机器人失效的最坏情况下，确保性能有界。
• 推导出近似界：模块化奖励函数下为常数因子，子模函数下为对数因子，子模函数在允许路径长度适度超限的情况下仍为常数因子。
• 将在线RMOP建模为机器人与敌对者之间的两人顺序博弈，双方均使用蒙特卡洛树搜索（MCTS）自适应选择动作。
• 在在线设置中实施滚动时域策略，机器人根据观测到的敌对者动作与更新后的信念进行重规划。
• 使用带敌对建模的MCTS，模拟攻击者行为，生成能预见并应对潜在攻击的鲁棒机器人路径。

实验结果

研究问题

• RQ1 如何设计一种多机器人路径规划算法，使得在最多 α 台机器人被敌对禁用时，仍能保证有界的性能比？
• RQ2 当奖励函数为模块化、子模化或允许路径长度适度超限的子模函数时，离线RMOP可实现何种近似保证？
• RQ3 在智能攻击者行为下，基于MCTS的在线RMOP规划性能与非自适应或非敌对规划策略相比如何？
• RQ4 基于敌对建模的MCTS在线规划是否能优于忽略潜在故障或攻击的标准MCTS？
• RQ5 所提出的鲁棒规划框架在真实敌对环境（如海洋监测与地下隧道）中，能在多大程度上维持团队整体的奖励收集能力？

主要发现

• 离线RMOP算法在模块化奖励函数下实现常数因子近似，在一般子模函数下实现对数因子近似，当子模奖励允许在路径预算内适度超限时，仍可实现常数因子近似。
• 在海洋监测与隧道探索的仿真研究中，采用敌对建模的基于MCTS的在线RMOP方法所收集的平均奖励显著高于非敌对MCTS策略。
• 当攻击者也使用MCTS时，采用相同敌对MCTS策略的机器人所获得的平均奖励（图11中的橙色柱状图）高于使用标准MCTS的机器人（蓝色柱状图），证明了主动敌对推理的价值。
• 随着攻击次数增加，鲁棒与非鲁棒策略之间的性能差距进一步扩大，验证了该方法在持续敌对压力下的鲁棒性。
• 当攻击者采用随机策略时，机器人仍能获得更高的平均奖励，表明鲁棒MCTS策略在面对次优敌对者时也具有效性。
• 图10的仿真结果表明，攻击者仅在观察到机器人轨迹后，才会战略性地针对高奖励节点（如节点25）发起攻击，验证了在模型中引入主动敌对规划的必要性。