Skip to main content
QUICK REVIEW

[论文解读] Preconditioning in Expectation

Michael B. Cohen, Rasmus Kyng|arXiv (Cornell University)|Jan 24, 2014
Stochastic Gradient Optimization Techniques参考文献 21被引用 3
一句话总结

本文提出了一种新颖的预条件化方法,通过随机采样构建超稀疏化器,在无需精确谱近似的情况下,实现了近乎最优的期望性能。通过将该方法与递归预条件化及改进的嵌入技术相结合,作者开发了一种SDD线性系统求解器,其期望时间接近 $m\log^{1/2}n$,显著优于先前的界限。

ABSTRACT

We show that preconditioners constructed by random sampling can perform well without meeting the standard requirements of iterative methods. When applied to graph Laplacians, this leads to ultra-sparsifiers that in expectation behave as the nearly-optimal ones given by [Kolla-Makarychev-Saberi-Teng STOC`10]. Combining this with the recursive preconditioning framework by [Spielman-Teng STOC`04] and improved embedding algorithms, this leads to algorithms that solve symmetric diagonally dominant linear systems and electrical flow problems in expected time close to $m\log^{1/2}n$ .

研究动机与目标

  • 为在近线性时间内高效构造近乎最优的谱稀疏化器和超稀疏化器这一开放问题提供解决方案。
  • 设计一种随机预条件化框架,即使在标准迭代方法的条件不满足时,也能在期望下表现良好。
  • 通过利用随机子图采样和递归预条件化,实现对对称对角占优(SDD)线性系统的更快求解。
  • 为Batson等人关于高效近乎最优稀疏化器生成的开放问题提供构造性算法解答。

提出的方法

  • 该方法使用子图(而非仅边)的随机采样来构建预条件器,使得在期望下,每次迭代的误差减少量与最优超稀疏化器相当。
  • 采用带预条件的随机Richardson迭代与Chebyshev迭代相结合,其中预条件器通过具有拉伸和非树边边界的随机子图采样构建。
  • 该算法整合了受Koutis等人启发的递归预条件化框架,使用逐步稀疏化的图求解器链。
  • 采用嵌入技术在图及其树近似之间传递解和误差保证,确保稳定性和收敛性。
  • 分析聚焦于目标应用——迭代线性系统求解,而非要求采样矩阵是强谱近似。
  • 使用误差减少量的统计界,允许在中间步骤存在较大绝对误差时仍保持鲁棒收敛。

实验结果

研究问题

  • RQ1随机采样子图能否产生在期望下表现如同近乎最优超稀疏化器的预条件器?
  • RQ2能否在近线性时间内构造近乎最优的稀疏化器,从而解决Batson等人提出的开放问题?
  • RQ3递归预条件化框架能否适应不满足标准谱近似保证的随机预条件器?
  • RQ4当使用随机子图采样而非确定性构造时,如何在期望下保持每次迭代的误差减少量?
  • RQ5通过结合随机预条件化、改进的嵌入技术与递归,能否将整体求解器运行时间减少至接近 $m\log^{1/2}n$?

主要发现

  • 所提出的算法在期望时间内求解对称对角占优线性系统,时间复杂度为 $\mathcal{O}(m\log^{1/2}n\log\log^{3+\delta}n\log(1/\epsilon))$,其中任意常数 $\delta > 0$,实现了近乎 $m\log^{1/2}n$ 的复杂度。
  • 该方法通过随机采样子图构建预条件器,其在期望下与Kolla等人(2010年)提出的近乎最优超稀疏化器的误差减少量相当。
  • 求解器框架在 $\mathcal{O}(m\log^{1/2}n\log\log^{3+\delta}n\log(1/\epsilon))$ 期望时间内实现相对误差 $\epsilon$,且高概率成立。
  • 该算法对中间步骤中的大绝对误差具有鲁棒性,依赖于具有强收敛保证的预条件Chebyshev迭代。
  • 分析表明,即使预条件器未精确满足谱近似界,递归预条件化框架在随机采样下仍保持稳定。
  • 该方法可实现在相似时间内生成近似最小能量的电气流,展示了其在图算法对偶问题中的广泛适用性。

更好的研究,从现在开始

从阅读论文到最终审阅,大幅缩短您的研究时间。

无需绑定信用卡

本解读由 AI 生成,并经人工编辑审核。