[论文解读] Using Collective Intelligence to Route Internet Traffic

David H. Wolpert, Kagan Tumer+1 more|ArXiv.org|May 10, 1999

Distributed Control Multi-Agent Systems参考文献 12被引用 90

一句话总结

本文提出了一种集体智能（COIN）框架，利用去中心化的强化学习算法在无集中控制的情况下优化互联网流量路由。通过采用约束对齐、子世界分解的系统与卓越人生效用（WLU）机制，使COIN在性能上超越所有先前基于强化学习的最短路径算法，其中基于记忆的COIN比具备完整知识的SPA上界性能提升36%。

ABSTRACT

A COllective INtelligence (COIN) is a set of interacting reinforcement learning (RL) algorithms designed in an automated fashion so that their collective behavior optimizes a global utility function. We summarize the theory of COINs, then present experiments using that theory to design COINs to control internet traffic routing. These experiments indicate that COINs outperform all previously investigated RL-based, shortest path routing algorithms.

研究动机与目标

• 设计一种无需集中控制的去中心化集体智能系统，以优化全局网络性能。
• 解决在分布式系统中，个体强化学习智能体不相互冲突的问题。
• 开发一种方法，仅基于全局效用和本地观测，自动初始化并更新本地效用函数。
• 在不同流量负载下，评估基于COIN的路由与传统最短路径算法的性能表现。
• 证明COIN在真实网络路由场景中的可行性与优越性。

提出的方法

• COIN框架使用一组强化学习智能体（微学习者）作为神经元，每个智能体基于全局目标优化其本地效用函数。
• 宏观学习者动态更新本地效用函数，以确保约束对齐与子世界分解，最大限度减少智能体间的干扰。
• 卓越人生效用（WLU）函数使每个神经元能够基于本地观测和网络反馈，估算其对全局效用的贡献。
• 系统被建模为一个因子分解、约束对齐的系统，其中某一子世界的变化仅影响其自身效用和全局效用，且以协调方式作用。
• 采用基于记忆的（MB）微学习者，仅利用本地路由历史估算WLU，从而实现去中心化运行。
• 通过在两种网络拓扑结构下，于轻载、中载和重载流量条件下进行仿真，对框架进行评估。

实验结果

研究问题

• RQ1 去中心化的集体智能系统是否能在互联网流量路由中超越集中式或完全知情的最短路径路由算法？
• RQ2 仅具备本地知识（基于记忆学习）的COIN是否能超越具备完整知识的最短路径算法？
• RQ3 约束对齐与子世界分解在分布式系统中如何防止强化学习智能体之间的干扰？
• RQ4 WLU机制在多大程度上能够基于本地观测准确估算对全局效用的贡献？
• RQ5 基于COIN的路由系统是否能在性能上超越任何具备完整系统知识的基于强化学习的最短路径算法？

主要发现

• 具备完整知识的COIN达到了理论最优性能，优于具备完整知识的最短路径算法（FK SPA），后者比最优值低12.5±3%。
• 基于记忆的COIN仅依赖本地观测，其性能比具备完整知识的SPA高出36±8%，在接近理论最优值方面表现更优。
• 在重载流量下，网络B中基于记忆的COIN平均总延迟为2.06±0.010，而FK SPA为6.94±0.015，表明其在知识有限的情况下仍表现出卓越性能。
• FK COIN迅速进入最优性能状态，且几乎无振铃振荡现象，表明其收敛速度快且稳定性高。
• 所有性能差异在0.05显著性水平下均具有统计显著性，包括网络A中轻载条件下MB COIN与FK SPA的对比。
• 结果证实，COIN能够超越任何基于强化学习的最短路径算法的性能上限，即使后者具备完整系统知识。