[论文解读] Resilience in Collaborative Optimization: Redundant and Independent Cost Functions

Nirupam Gupta, Nitin H. Vaidya|arXiv (Cornell University)|Mar 21, 2020

Distributed Control Multi-Agent Systems参考文献 26被引用 7

一句话总结

本文提出了一种在拜占庭故障下多智能体系统协作优化的弹性框架，引入了$2t$-冗余作为$t$-弹性性的必要且充分条件。该框架提出了通过冗余代价函数特性或弱弹性度量实现容错的算法，当函数独立时适用；并提出一种基于梯度的算法，利用比较梯度裁剪机制抑制恶意梯度。

ABSTRACT

This report considers the problem of Byzantine fault-tolerance in multi-agent collaborative optimization. In this problem, each agent has a local cost function. The goal of a collaborative optimization algorithm is to compute a minimum of the aggregate of the agents' cost functions. We consider the case when a certain number of agents may be Byzantine faulty. Such faulty agents may not follow a prescribed algorithm, and they may send arbitrary or incorrect information regarding their local cost functions. A reasonable goal in presence of such faulty agents is to minimize the aggregate cost of the non-faulty agents. In this report, we show that this goal can be achieved if and only if the cost functions of the non-faulty agents have a minimal redundancy property. We present different algorithms that achieve such tolerance against faulty agents, and demonstrate a trade-off between the complexity of an algorithm and the properties of the agents' cost functions. Further, we also consider the case when the cost functions are independent or do not satisfy the minimal redundancy property. In that case, we quantify the tolerance against faulty agents by introducing a metric called weak resilience. We present an algorithm that attains weak resilience when the faulty agents are in the minority and the cost functions are non-negative.

研究动机与目标

• 解决协作优化中的拜占庭故障容忍问题，即智能体可能发送任意或错误的代价函数数据。
• 识别非故障智能体在存在故障智能体时仍能最小化聚合代价的条件。
• 引入一种新的弹性度量——$(u,t)$-弱弹性，用于代价函数缺乏冗余的情况。
• 设计在计算复杂度与代价函数属性假设之间取得平衡的高效算法。
• 通过比较梯度裁剪机制，在基于梯度的协作学习中验证弹性性能。

提出的方法

• 将$2t$-冗余定义为在存在拜占庭智能体的协作优化中实现$t$-弹性性的必要且充分条件。
• 在$2t$-冗余假设下，提出一种基于代价函数值过滤与聚合的$t$-弹性算法。
• 引入$(u,t)$-弱弹性度量，用于量化代价函数独立或缺乏冗余时的容错能力。
• 设计一种弱弹性算法，在代价函数非负且$n > 2t$时，实现$u \geq t$的$(u,t)$-弱弹性。
• 实现一种基于梯度下降的算法，服务器使用“比较梯度裁剪”（CGC）机制，抑制最大$t$个梯度范数。
• 在客户端-服务器架构中使用可信服务器协调聚合与故障缓解，假设$n > 2t$。

实验结果

研究问题

• RQ1 在拜占庭故障下，协作优化中实现$t$-弹性性的智能体代价函数需满足何种必要且充分条件？
• RQ2 当代价函数独立且缺乏冗余时，如何量化并实现弹性？
• RQ3 在拜占庭容错协作优化中，算法复杂度与代价函数属性假设之间的权衡是什么？
• RQ4 像比较梯度裁剪这样的简单梯度过滤机制，能否确保在存在故障智能体的协作学习中实现弹性？
• RQ5 在代价函数缺乏冗余的情况下，弱弹性在何种条件下可被实现？

主要发现

• $2t$-冗余属性是实现协作优化中$t$-弹性性的必要且充分条件，该属性来自非故障智能体的真实代价函数。
• 当代价函数非负且满足$2t$-冗余时，$(t,t)$-弱弹性算法的归一化实现可达到$t$-弹性。
• 所提出的弱弹性度量$(u,t)$-弱弹性可量化独立代价函数系统中的容错能力，在非负代价函数且$n > 2t$条件下，对所有$u \geq t$均实现弹性。
• 比较梯度裁剪（CGC）机制通过将最大$ t $个范数的梯度裁剪至第$(t+1)$个最大梯度的范数，有效缓解最多$t$个故障智能体梯度的影响。
• 基于梯度的算法在满足$2t$-冗余条件及额外代价函数假设下，可实现$t$-弹性，其证明已在先前工作[13]中给出。
• 存在算法复杂度与代价函数假设之间的权衡：更简单的算法需要更强的假设，如非负性或冗余性。