[论文解读] Robust Decentralized Learning Using ADMM with Unreliable Agents

Qunwei Li, Bhavya Kailkhura+3 more|arXiv (Cornell University)|Oct 14, 2017

Distributed Control Multi-Agent Systems被引用 11

一句话总结

本文提出ROAD，一种用于去中心化学习的鲁棒ADMM变体，即使在不可靠代理注入任意误差的情况下，也能确保精确收敛至最优解。通过分析误差传播并引入基于阈值的误差缓解机制，ROAD在凸问题下实现了O(1/T)的收敛速率，即使在对抗性或噪声更新下亦成立，为任意误差模型下的收敛提供统一框架。

ABSTRACT

Many machine learning problems can be formulated as consensus optimization problems which can be solved efficiently via a cooperative multi-agent system. However, the agents in the system can be unreliable due to a variety of reasons: noise, faults and attacks. Providing erroneous updates leads the optimization process in a wrong direction, and degrades the performance of distributed machine learning algorithms. This paper considers the problem of decentralized learning using ADMM in the presence of unreliable agents. First, we rigorously analyze the effect of erroneous updates (in ADMM learning iterations) on the convergence behavior of multi-agent system. We show that the algorithm linearly converges to a neighborhood of the optimal solution under certain conditions and characterize the neighborhood size analytically. Next, we provide guidelines for network design to achieve a faster convergence. We also provide conditions on the erroneous updates for exact convergence to the optimal solution. Finally, to mitigate the influence of unreliable agents, we propose extsf{ROAD}, a robust variant of ADMM, and show its resilience to unreliable agents with an exact convergence to the optimum.

研究动机与目标

• 解决由于不可靠代理（如受噪声、故障或网络攻击影响的代理）导致的任意误差模型下去中心化ADMM缺乏收敛性分析的问题。
• 开发一个统一框架，用于分析代理在更新中注入任意误差时ADMM的收敛性，超越以往对不精确ADMM的限制性假设。
• 推导ADMM线性收敛至最优解邻域的条件，并识别实现精确收敛的误差约束。
• 设计一种鲁棒ADMM变体ROAD，以缓解不可靠代理的影响，并保证精确收敛至最优解。
• 提供网络拓扑和算法参数的设计指南，以在不可靠条件下加速收敛。

提出的方法

• 提出一种通用误差模型，其中每个不可靠代理在广播其状态$\mathbf{x}_i^k$之前，向其添加任意误差项$\mathbf{e}_i^k$，从而污染更新过程。
• 分析该模型下的ADMM收敛性，证明在涉及网络拓扑、目标函数性质和算法参数的条件下，ADMM线性收敛至最优解的邻域。
• 提出ROAD（鲁棒ADMM），通过基于残差范数的阈值机制检测并抑制错误更新。
• 推导一种类似李雅普诺夫的能量函数，以界定向误差传播并建立收敛性，利用矩阵范数$\sigma_{\min}(\mathbf{L}_-)$、$\sigma_{\max}(\mathbf{L}_+)$和$\|\mathbf{Q}\mathbf{e}^k\|$。
• 使用$T$次迭代的望远镜求和技术界定向最优性间隙，表明$f(\hat{\mathbf{x}}_T) - f(\mathbf{x}^*) \leq \frac{1}{T}\left(\|\mathbf{p}^0 - \mathbf{p}\|^2_{\mathbf{G}} + 8c\frac{\sigma^2_{\max}(\mathbf{L}_+)}{\sigma^2_{\min}(\mathbf{L}_-)}E^2U^2\right)$。
• 采用带阈值条件的对偶变量更新规则，防止错误更新传播，确保累积误差影响有界。

实验结果

研究问题

• RQ1 当代理注入任意误差时，标准ADMM在何种条件下线性收敛至最优解邻域？
• RQ2 在存在不可靠代理的情况下，哪些网络和算法参数可调节以加速收敛？
• RQ3 何种误差约束可使ADMM实现对最优解的精确收敛，而非收敛至邻域？
• RQ4 如何使去中心化ADMM算法对不可靠代理的任意误差（包括对抗性或噪声更新）具有鲁棒性？
• RQ5 能否在超越以往不精确ADMM中受限于有界和结构化误差的前提下，为ADMM在任意误差模型下建立统一的收敛性分析？

主要发现

• 当误差幅值和网络拓扑满足涉及$\sigma_{\min}(\mathbf{L}_-)$、$\sigma_{\max}(\mathbf{L}_+)$和算法参数的特定条件时，ADMM线性收敛至最优解邻域。
• 收敛邻域的大小可被解析表征，其取决于最大误差能量$\|\mathbf{Q}\mathbf{e}^k\|_2^2$和拉普拉斯矩阵的条件数。
• 若误差项满足$\sum_{t=1}^T \|\mathbf{Q}\mathbf{e}^t\| \leq 2\sqrt{2}EU$，则可实现对最优解的精确收敛，该条件界定了累积误差影响。
• ROAD在凸代价函数下实现$\mathcal{O}(1/T)$的收敛速率，最优性间隙被界为$\frac{1}{T}\left(\|\mathbf{p}^0 - \mathbf{p}\|^2_{\mathbf{G}} + 8c\frac{\sigma^2_{\max}(\mathbf{L}_+)}{\sigma^2_{\min}(\mathbf{L}_-)}E^2U^2\right)$。
• ROAD中的阈值机制确保$\sum_{t=1}^T \|\mathbf{Q}\mathbf{e}^t\| \leq 2\sqrt{2}EU$，这对界定向误差累积和实现精确收敛至关重要。
• 推导出网络设计指南：增大谱隙$\sigma_{\min}(\mathbf{L}_-)$并最小化$\sigma_{\max}(\mathbf{L}_+)$可提升收敛速度和鲁棒性。