[论文解读] Task-Based Information Compression for Multi-Agent Communication Problems with Channel Rate Constraints.

Arsham Mostaani, Thang X. Vu+2 more|arXiv (Cornell University)|May 28, 2020

Distributed Control Multi-Agent Systems参考文献 50被引用 4

一句话总结

本文针对在通信速率受限下的多智能体系统，提出了一种基于任务的信息压缩方法，采用两种方案：基于学习的信息压缩（LBIC）通过强化学习实现，以及基于状态聚合的信息压缩（SAIC）通过解析设计实现。这些方法通过紧凑地传递观测信息来最小化奖励损失，其中SAIC在特定条件下可实现最优性能，在会合任务中优于基线方法。

ABSTRACT

A collaborative task is assigned to a multiagent system (MAS) in which agents are allowed to communicate. The MAS runs over an underlying Markov decision process and its task is to maximize the averaged sum of discounted one-stage rewards. Although knowing the global state of the environment is necessary for the optimal action selection of the MAS, agents are limited to individual observations. The inter-agent communication can tackle the issue of local observability, however, the limited rate of the inter-agent communication prevents the agent from acquiring the precise global state information. To overcome this challenge, agents need to communicate their observations in a compact way such that the MAS compromises the minimum possible sum of rewards. We show that this problem is equivalent to a form of rate-distortion problem which we call the task-based information compression. We introduce two schemes for task-based information compression (i) Learning-based information compression (LBIC) which leverages reinforcement learning to compactly represent the observation space of the agents, and (ii) State aggregation for information compression (SAIC), for which a state aggregation algorithm is analytically designed. The SAIC is shown, conditionally, to be capable of achieving the optimal performance in terms of the attained sum of discounted rewards. The proposed algorithms are applied to a rendezvous problem and their performance is compared with two benchmarks; (i) conventional source coding algorithms and the (ii) centralized multiagent control using reinforcement learning. Numerical experiments confirm the superiority of the proposed algorithms.

研究动机与目标

• 解决多智能体系统（MAS）在部分可观测性下通信速率受限的挑战。
• 在信道速率约束下，最小化因通信压缩导致的折扣奖励总和损失。
• 设计能够紧凑表示智能体观测信息，同时保留与任务相关的全局状态信息的通信策略。
• 设计一种理论基础扎实的方法（SAIC），在特定条件下可实现最优性能。
• 将所提方案与传统的信源编码和集中式强化学习基线进行评估与比较。

提出的方法

• 将通信问题形式化为基于任务的率失真问题，其中失真通过奖励损失来衡量。
• 提出基于学习的信息压缩（LBIC），利用深度强化学习学习智能体观测的紧凑表示。
• 提出基于状态聚合的信息压缩（SAIC），通过解析方式对状态进行分组，以在速率约束下最小化信息损失。
• 在底层MDP允许充分状态聚合以保留与任务相关的信息的假设下应用SAIC。
• 采用马尔可夫决策过程框架对MAS进行建模，智能体通过最大化折扣奖励总和来行动。
• 采用集中式训练、分布式执行（CTDE）范式来训练LBIC并评估性能。

实验结果

研究问题

• RQ1 在通信速率受限下，基于任务的信息压缩是否能减少多智能体系统中的奖励损失？
• RQ2 通过强化学习训练的LBIC与传统信源编码相比，在通信效率和奖励性能方面表现如何？
• RQ3 在何种条件下，SAIC能在折扣奖励方面实现最优性能？
• RQ4 所提方案的性能与集中式多智能体强化学习相比如何？
• RQ5 在多智能体协调任务中，通信速率与奖励损失之间存在何种权衡？

主要发现

• 所提出的基于任务的信息压缩框架在通信速率受限下能有效减少奖励损失。
• 在MDP具有特定结构假设的条件下，SAIC可条件性地实现折扣奖励总和的最优性能。
• LBIC在通信效率和奖励获取方面均优于传统信源编码算法。
• 在速率限制下，LBIC与SAIC在通信效率和奖励性能方面显著优于集中式多智能体强化学习。
• 在会合任务上的数值实验证实，所提方案在最小化奖励损失方面优于基线方法。
• 问题的率失真形式化使得通信成本与任务性能之间能够实现有原则的权衡。