[论文解读] Quality or Quantity? Error-Informed Selective Online Learning with Gaussian Processes in Multi-Agent Systems: Extended Version

Zewen Yang, Xiaobing Dai+3 more|arXiv (Cornell University)|Jan 10, 2026

Gaussian Processes and Bayesian Inference被引用 0

一句话总结

我们引入分布式误差信息高斯过程（EIGP），用于多智能体系统中的选择性在线学习，包含贪婪和自适应变体、数据删除策略以及理论误差界限。

ABSTRACT

Effective cooperation is pivotal in distributed learning for multi-agent systems, where the interplay between the quantity and quality of the machine learning models is crucial. This paper reveals the irrationality of indiscriminate inclusion of all models on agents for joint prediction, highlighting the imperative to prioritize quality over quantity in cooperative learning. Specifically, we present the first selective online learning framework for distributed Gaussian process (GP) regression, namely distributed error-informed GP (EIGP), that enables each agent to assess its neighboring collaborators, using the proposed selection function to choose the higher quality GP models with less prediction errors. Moreover, algorithmic enhancements are embedded within the EIGP, including a greedy algorithm (gEIGP) for accelerating prediction and an adaptive algorithm (aEIGP) for improving prediction accuracy. In addition, approaches for fast prediction and model update are introduced in conjunction with the error-informed quantification term iteration and a data deletion strategy to achieve real-time learning operations. Numerical simulations are performed to demonstrate the effectiveness of the developed methodology, showcasing its superiority over the state-of-the-art distributed GP methods with different benchmarks.

研究动机与目标

• 强调在协作式MAS学习中，盲目聚合所有本地GP模型的非理性，并主张以质量信息驱动的协作。
• 开发分布式误差信息GP（EIGP）框架，以有选择地结合来自邻居的高质量GP模型。
• 提供贪婪（gEIGP）和自适应（aEIGP）算法，以加速预测并提高准确性。
• 引入数据删除策略和高效的更新/预测方法用于实时在线学习。
• 为通过误差界实现的协作预测建立理论保证。

提出的方法

• 定义一个误差信息化的预测度量，通过预测误差和基于核的相似性来量化GP模型质量。
• 制定一个选择性聚合规则，其中每个智能体将邻居子集与带权GP预测相结合。
• 开发一种快速预测形式，通过使用基于核的选择I_i(x)，将复杂度从O(N^2)降低到O(|I_i(x)|^2)。
• 提出贪婪的EIGP（gEIGP）以选择单个可信邻居进行预测。
• 提出自适应的EIGP（aEIGP）以允许带有置信度控制机制的邻居选择。
• 引入数据删除（裁剪）策略，以限制数据集大小并实现在线更新（包括Gram矩阵重新分配）。

实验结果

研究问题

• RQ1 如何通过基于预测误差的度量和权重邻居模型来改进MAS中的GP协同学习？
• RQ2 误差信息化度量和选择性聚合是否能够在降低通信/计算的同时实现高精度预测？
• RQ3 gEIGP和aEIGP在在线设置中是否对预测速度与准确性存在权衡？
• RQ4 如何通过流数据和受限内存高效地更新在线GP模型？
• RQ5 可以为误差信息化的协作GP预测建立哪些理论保证？

主要发现

• EIGP框架使智能体能够通过基于预测误差的度量和核相似性来评估邻居模型质量。
• 贪婪与自适应变体（gEIGP、aEIGP）通过将聚合限定在高质量邻居来降低计算，同时维持或提高准确性。
• 数据删除策略和高效的更新/预测流程支持带有界内存的实时在线学习。
• 在仿真中，相较于最先进的分布式GP方法，所提方法表现出更优的性能（未给出具体数值）。