[论文解读] Simple exponential acceleration of the power iteration algorithm

Congzhou M. Sha, Nikolay V. Dokholyan|arXiv (Cornell University)|Sep 22, 2021

Matrix Theory and Algorithms参考文献 10被引用 4

一句话总结

本文提出了一种改进的幂迭代算法，通过平方法计算矩阵指数，实现指数级收敛，将迭代次数从 O(k) 减少至 O(log k)，同时保持多项式时间复杂度。该方法在不牺牲鲁棒性的前提下加速了收敛，是一种实用的、可直接替换传统幂迭代的特征值计算方法。

ABSTRACT

Code to reproduce data in: https://arxiv.org/abs/2109.10884

研究动机与目标

• 解决传统幂迭代在计算矩阵最大特征值和特征向量时收敛缓慢的问题。
• 开发一种在显著减少收敛所需迭代次数的同时保持数值稳定性的方法。
• 提供一种实用且高效的替代标准幂迭代的方法，可轻松集成到现有计算流程中。
• 通过改进的 Gram-Schmidt 正交化过程，将该方法扩展至自伴矩阵的 k 个最大特征对的计算。

提出的方法

• 该算法将幂迭代与矩阵指数的平方法相结合，通过重复平方计算矩阵 A 的高次幂，从而加速收敛。
• 在每一步中，对矩阵进行归一化以防止数值溢出，确保迭代平方过程的稳定性。
• 最终通过将计算得到的高次幂矩阵作用于一个随机初始化的向量 x₀ 得到特征向量。
• 对于自伴矩阵，该方法采用基于 Gram-Schmidt 正交化的降秩技术，按顺序提取 k 个最大的特征对。
• 该算法利用 Rayleigh 商从最终向量中估计最大特征值，确保高精度。
• 该方法依赖于数学性质：沿较小特征值方向的分量在每次平方步骤中呈指数衰减。

实验结果

研究问题

• RQ1 能否利用矩阵指数的平方法加速幂迭代算法的收敛？
• RQ2 所提出的方法是否在保持多项式时间复杂度的同时实现指数级收敛？
• RQ3 与标准幂迭代相比，该改进算法在迭代次数和运行时间方面的性能表现如何？
• RQ4 该方法能否高效扩展至自伴矩阵的多个最大特征对的计算？
• RQ5 所提出算法在中等规模实际矩阵上是否具备鲁棒性和实用性？

主要发现

• 所提算法实现了指数级收敛，将标准幂迭代中 O(k) 的迭代次数减少至 O(log k)。
• 对于 100×100 矩阵，算法 3 在所有测试案例中均于 20 次迭代内收敛，展现出显著的指数加速。
• 在中等规模矩阵（n=100）上，该方法在收敛速度和运行时间方面均优于标准幂迭代。
• 通过在每次平方步骤中对矩阵进行归一化，该算法保持了数值稳定性，有效防止了溢出。
• 计算成本为 O(n³ log k)，相较于标准幂迭代在大 k 时的 O(n²k) 成本更具效率。
• 该方法对初始向量的随机初始化具有鲁棒性，且以高概率避免退化情况。