[论文解读] Primal-Dual Distributed Temporal Difference Learning

Donghwan Lee, Jianghai Hu|arXiv (Cornell University)|May 21, 2018

Distributed Control Multi-Agent Systems参考文献 47被引用 7

一句话总结

该论文提出了一种用于多智能体马尔可夫决策过程的分布式原始-对偶时序差分学习算法（DGTD），使智能体能够仅通过本地奖励和随机网络通信协作估计全局价值函数。该方法通过拉格朗日函数的对偶化形式将策略评估问题转化为分布式优化问题，实现了在随机时变通信图下的有限时间收敛，并建立了收敛速率和样本复杂度。

ABSTRACT

The goal of this paper is to study a distributed version of the gradient temporal-difference (GTD) learning algorithm for a class of multi-agent Markov decision processes (MDPs). The temporal-difference (TD) learning is a reinforcement learning (RL) algorithm that learns an infinite horizon discounted cost function (or value function) for a given fixed policy without the model knowledge. In the multi-agent MDP each agent receives a local reward through a local processing. The agents communicate over sparse and random networks to learn the global value function corresponding to the aggregate of local rewards. In this paper, the problem of estimating the global value function is converted into a constrained convex optimization problem. Then, we propose a stochastic primal-dual distributed algorithm to solve it and prove that the algorithm converges to a set of solutions of the optimization problem.

研究动机与目标

• 开发一种分布式强化学习算法，使多个智能体能够仅使用本地奖励和部分通信来估计全局价值函数。
• 解决多智能体系统中信息受限的问题，其中每个智能体仅能观测到自身的本地奖励。
• 将单智能体GT D学习方法推广至具有去中心化、随机通信拓扑结构的多智能体场景。
• 为所提出的分布式算法提供严格的收敛保证，包括收敛速率和样本复杂度。
• 建立统一的对偶点框架用于分布式策略评估，支持额外的约束和目标。

提出的方法

• 将多智能体策略评估问题表述为带有共享参数等式约束的分布式优化问题。
• 通过引入图拉普拉斯矩阵编码一致性约束，利用拉格朗日对偶公式将约束优化问题转化为对偶点问题。
• 应用随机原始-对偶算法求解对偶点问题，实现在随机、时变通信图下的分布式学习。
• 采用步长规则 $\alpha_k = 10 / \sqrt{k + 100}$ 以确保在随机设置下的收敛性。
• 使用特征表示（如径向基函数或表格形式）在智能体之间近似全局价值函数。
• 集成随机网络通信机制，智能体仅与邻居交换学习参数，维持对系统的局部视图。

实验结果

研究问题

• RQ1 当智能体仅观测本地奖励并通过随机时变网络通信时，分布式TD学习算法能否收敛到正确的全局价值函数？
• RQ2 在多智能体、非策略设置下，该原始-对偶随机算法的收敛速率和样本复杂度可保证到何种程度？
• RQ3 与基于一致性的方法相比，所提出的原始-对偶框架在分布式策略评估中的收敛性和灵活性如何？
• RQ4 对偶点公式能否支持额外目标，如稀疏性或熵正则化，在多智能体价值函数学习中的应用？
• RQ5 随机通信图结构对分布式TD学习的稳定性和收敛性有何影响？

主要发现

• 所提出的DGTD算法在假设通信图为随机、无向、时变图的前提下，实现了对全局价值函数的有限时间收敛。
• 该算法展示了经过严格分析和确立的收敛速率与样本复杂度，填补了多智能体非策略TD学习领域在理论分析方面的空白。
• 仿真结果表明，五个智能体均就价值函数参数达成一致，即使仅接收部分本地奖励，也收敛到一致的估计值。
• 在具有三个机器人的连续空间场景中，智能体成功估计出共享价值函数，识别出三个不同的危险区域，即使感知不完整且通信间歇性，亦能实现。
• 各智能体的价值函数估计保持一致，支持协作检测兴趣点，如湍流区域或敌方位置。
• 该方法有效处理非策略设置，即行为策略与待评估的目标策略不一致的情况，并通过对偶点框架支持灵活的目标函数。