[论文解读] The eigenstructures of real (skew) circulant matrices with some applications

Zhongyun Liu, Siheng Chen+2 more|arXiv (Cornell University)|Jun 12, 2018

Matrix Theory and Algorithms参考文献 12被引用 3

一句话总结

本文提出了一种基于DCT-DST的实Schur形式，适用于实循环矩阵和反对称循环矩阵，实现了仅使用实数运算的快速算法，用于矩阵-向量乘法，并提出了一种新型的CSCS迭代法，用于求解实正定Toeplitz系统。该方法将计算成本减半，并相比基于FFT的方法节省了50%的存储空间，数值结果表明在大规模问题上效率更优。

ABSTRACT

The circulant matrices and skew-circulant matrices are two special classes of Toeplitz matrices and play vital roles in the computation of Toeplitz matrices. In this paper, we focus on real circulant and skewcirculant matrices. We first investigate their real Schur forms, which are closely related to the family of discrete cosine transform (DCT) and discrete sine transform (DST). Using those real Schur forms, we then develop some fast algorithms for computing real circulant, skew-circulant and Toeplitz matrix-real vector multiplications. Also, we develop a DCT-DST version of circulant and skew-circulant splitting (CSCS) iteration for real positive definite Toeplitz systems. Compared with the fast Fourier transform (FFT) version of CSCS iteration, the DCTDST version is more efficient and saves a half storage. Numerical experiments are presented to illustrate the effectiveness of our method.

研究动机与目标

• 开发仅使用实数三角函数变换的实循环矩阵和反对称循环矩阵的实Schur形式。
• 通过仅使用实数运算，实现对实Toeplitz系统的快速矩阵-向量乘法。
• 设计一种基于DCT-DST的循环矩阵与反对称循环矩阵分裂（CSCS）迭代法，使其比基于FFT的版本更高效。
• 在求解大规模实正定Toeplitz系统时，降低计算成本和存储需求。
• 通过数值实验，证明所提方法在收敛性与计算效率方面优于现有的基于FFT的AHSS迭代求解器。

提出的方法

• 利用离散余弦变换（DCT）和离散正弦变换（DST）矩阵，推导实循环矩阵和反对称循环矩阵的实Schur形式。
• 将实Schur形式表示为 $ C = U \Lambda U^T $ 和 $ S = \tilde{U} \tilde{\Lambda} \tilde{U}^T $，其中 $ U $ 和 $ \tilde{U} $ 分别基于DCT-II和DST-I的正交矩阵。
• 开发仅使用实数DCT和DST运算的快速算法，用于计算 $ C\mathbf{x} $ 和 $ S\mathbf{x} $，避免使用复数FFT。
• 通过DCT和DST重构实Toeplitz系统的CSCS迭代，得到一种仅使用实数运算的迭代求解器。
• 利用对称与反对称向量的结构特性，简化变换过程，降低计算复杂度。
• 使用实数DCT和DST实现新CSCS迭代（公式20），具有高度可并行性，适用于多处理器架构。

实验结果

研究问题

• RQ1 能否仅使用实三角函数变换构造实循环矩阵和反对称循环矩阵的实Schur形式？
• RQ2 能否使用DCT和DST实现对实循环矩阵和反对称循环矩阵的快速矩阵-向量乘法，而非使用FFT？
• RQ3 能否开发一种基于DCT-DST的CSCS迭代法，避免复数运算，并减少存储与运算量？
• RQ4 基于DCT-DST的CSCS迭代法在收敛性和计算成本方面，与基于FFT的CSCS和AHSS迭代法相比表现如何？
• RQ5 所提方法在大规模实正定Toeplitz系统求解中是否实现了显著的效率提升？

主要发现

• 所提出的基于DCT-DST的CSCS迭代法（公式20）相比基于FFT的CSCS迭代法，实现了约50%的存储和运算量减少。
• 当 $ n = 1024 $ 时，DCT-DST CSCS迭代耗时70.218秒，而基于FFT的版本仅需11.418秒，表明尽管理论预期相反，实际中仍存在显著加速。
• DCT-DST CSCS方法中迭代矩阵的谱半径远小于AHSS迭代法，导致迭代次数更少，收敛更快。
• 数值实验表明，由于计算复杂度更低且更高效地利用实数运算，DCT-DST CSCS方法在 $ n $ 较大时显著优于基于FFT的CSCS和AHSS迭代法。
• 该方法高度可并行化，非常适合在多处理器系统中实现，显著提升了实际应用价值。
• 理论分析表明，与基于FFT的方法相比，新方法将运算量减半；若未来MATLAB版本原生支持实数DCT/DST实现，性能提升将进一步扩大。