[论文解读] Randomized Iterative Methods for Linear Systems: Momentum, Inexactness and Gossip

Nicolas Loizou|arXiv (Cornell University)|Sep 26, 2019

Stochastic Gradient Optimization Techniques参考文献 195被引用 4

一句话总结

本文提出了一种结合随机化、迭代方法、动量项、不精确性以及基于gossip通信的算法，用于求解大规模线性系统与优化问题。该工作首次建立了随机gossip算法的可证明加速线性收敛速率，并提出了新颖的隐私保护变体，显著提升了分布式环境下的效率与可扩展性。

ABSTRACT

In the era of big data, one of the key challenges is the development of novel optimization algorithms that can accommodate vast amounts of data while at the same time satisfying constraints and limitations of the problem under study. The need to solve optimization problems is ubiquitous in essentially all quantitative areas of human endeavor, including industry and science. In the last decade there has been a surge in the demand from practitioners, in fields such as machine learning, computer vision, artificial intelligence, signal processing and data science, for new methods able to cope with these new large scale problems. In this thesis we are focusing on the design, complexity analysis and efficient implementations of such algorithms. In particular, we are interested in the development of randomized iterative methods for solving large scale linear systems, stochastic quadratic optimization problems, the best approximation problem and quadratic optimization problems. A large part of the thesis is also devoted to the development of efficient methods for obtaining average consensus on large scale networks.

研究动机与目标

• 设计高效的随机化迭代方法，用于求解大规模线性系统与随机二次优化问题。
• 通过引入重球动量扩展一阶方法，并在统一框架下分析其在凸二次问题中的收敛性。
• 通过引入不精确变体，放宽对子问题精确解的要求，从而在保持收敛性的同时降低计算成本。
• 为分布式平均一致性问题，提出一种通用的随机gossip算法框架，支持分块、加速及隐私保护变体。
• 通过在gossip协议中引入新颖的隐私保护机制，在不牺牲收敛性保证的前提下，保护分布式网络中的私有数据。

提出的方法

• 提出随机动量作为计算成本更低的确定性动量替代方案，使稀疏数据环境下迭代速度更快。
• 通过允许子问题以有界误差的近似解，分析SGD、随机牛顿法、邻近点法及子空间上升法的不精确变体。
• 通过随机投影方法求解线性系统，建立随机Kaczmarz型方法与gossip算法之间的联系。
• 通过将gossip算法建模为一致性系统的随机迭代求解器，构建统一的gossip算法框架，支持分块与加速变体。
• 提出三种隐私保护gossip协议：二值预言机（Binary Oracle）、ε-间隙预言机（ε-Gap Oracle）与受控噪声注入，以弱化更新过程中共享的信息。
• 利用对偶性设计算法，求解最优逼近问题的对偶形式，确保在保护隐私的同时收敛至平均一致性。

实验结果

研究问题

• RQ1 随机动量能否用于加速大规模线性系统与优化问题的随机迭代方法，并实现线性收敛？
• RQ2 当子问题以近似方式求解时，随机一阶方法的不精确变体的收敛速率如何？
• RQ3 能否设计出具有可证明加速收敛速率的随机gossip算法，用于分布式平均一致性？
• RQ4 如何在不损害收敛性或准确性的前提下，保护基于gossip的一致性算法中的隐私？
• RQ5 能否将随机迭代方法求解线性系统的框架扩展，以统一并推广现有的gossip协议？

主要发现

• 本文首次建立了随机重球方法在凸二次问题中的全局非渐近线性收敛速率。
• 在小动量参数的稀疏数据环境下，随机动量方法的整体复杂度优于确定性动量变体。
• 随机方法的不精确变体在有界不精确误差下仍保持线性收敛，尽管迭代次数增加，但求解时间显著减少。
• 所提出的加速gossip协议在无线传感器网络拓扑结构上经验证，其收敛速度明显快于现有随机gossip算法，且具有可证明的加速效果。
• 隐私保护gossip协议——二值预言机（Binary Oracle）、ε-间隙预言机（ε-Gap Oracle）与受控噪声注入——在保护节点私有值的同时，实现了对平均一致性的收敛。
• 为所有提出的隐私保护协议提供了理论迭代复杂度界，大量数值实验验证了其在标准网络拓扑上的实际收敛性能。