[论文解读] On fast matrix-vector multiplication with a Hankel matrix in multiprecision arithmetics

Gleb Beliakov|arXiv (Cornell University)|Feb 21, 2014

Matrix Theory and Algorithms参考文献 9被引用 3

一句话总结

本文提出了两种高效的算法，用于在高精度算术中实现快速的汉克尔矩阵-向量乘法，其中标准的基于FFT的方法因高精度计算开销而变得低效。第一种方法将高精度数分解为双精度分量之和，以便使用标准FFT例程；第二种方法采用类似Karatsuba的递归方法，时间复杂度为O(n^log 3)，在高精度环境下展现出更优的性能与更高的精度。

ABSTRACT

We present two fast algorithms for matrix-vector multiplication $y=Ax$, where $A$ is a Hankel matrix. The current asymptotically fastest method is based on the Fast Fourier Transform (FFT), however in multiprecision arithmetics with very high accuracy FFT method is actually slower than schoolbook multiplication for matrix sizes up to $n=8000$. One method presented is based on a decomposition of multiprecision numbers into sums, and applying standard or double precision FFT. The second method, inspired by Karatsuba multiplication, is based on recursively performing multiplications with matrices of half-size of the original. Its complexity in terms of the matrix size $n$ is $Θ(n^{\log 3})$. Both methods are applicable to Toeplitz matrices and to circulant matrices.

研究动机与目标

• 解决在高精度算术中，由于计算开销大和嵌套FFT调用，基于FFT的矩阵-向量乘法效率低下的问题。
• 开发替代算法，在高精度环境下，对大矩阵尺寸的表现优于标准FFT和朴素乘法。
• 通过避免标准FFT在处理高精度数时常见的中间精度损失，确保数值计算的准确性。
• 设计一种实现简单且易于并行化的算法，适用于高性能计算环境。
• 通过汉克尔矩阵与托普利茨矩阵、循环矩阵之间的结构等价性，将方法扩展至这些矩阵类型。

提出的方法

• 将汉克尔矩阵和向量中的每个高精度数分解为双精度分量之和，以利用高度优化的标准单精度FFT库。
• 从分量级FFT结果重构最终结果，确保输出为全精度，避免中间步骤的舍入误差。
• 提出一种受Karatsuba乘法启发的递归算法，将每步递归中的四次乘法减少为三次，从而降低总乘法次数。
• 通过将输入向量和汉克尔矩阵递归划分为大小为n/2的子问题，并通过线性组合构造辅助向量，组织算法结构。
• 采用分治策略，将乘积计算为三个较小汉克尔矩阵上的递归调用结果的组合，随后进行加法/减法操作。
• 通过独立地在不同线程上启动三个递归调用，实现并行执行，实现工作负载均衡，避免负载不均。

实验结果

研究问题

• RQ1 能否在不产生过高开销的前提下，有效将基于FFT的矩阵-向量乘法适配到高精度算术中？
• RQ2 在高精度环境下，具有O(n^log 3)时间复杂度的类似Karatsuba的递归算法是否优于FFT和朴素乘法？
• RQ3 所提出的算法能否在避免标准FFT在处理高精度数时常见舍入误差的前提下，保持全精度计算？
• RQ4 该递归算法在多大程度上可实现并行化，而不会引入负载不均或显著的同步开销？
• RQ5 在高精度算术中，加法与乘法的计算成本如何随规模变化？是否可利用这些特性，使乘法次数更少的算法更具优势？

主要发现

• 基于FFT的分解方法实现了O(n log n)的时间复杂度，可利用现有高度优化的FFT库；但中间步骤中可能出现因抵消效应导致的精度损失。
• 受Karatsuba启发的递归算法实现了O(n^log 3)的时间复杂度，理论上最多需要3n^log 3次乘法和4n^log 3次加法（当n > 2时）。
• 无论高精度算术中加法与乘法的相对成本如何，该递归算法在所有n > 3的情况下均比朴素乘法更高效。
• 该算法天然支持并行化，三个独立的递归调用可并行执行于不同线程或机器上，且工作量均衡。
• 该方法在整个计算过程中保持全精度，避免了FFT分解方法中因中间精度降低导致的精度下降问题。
• 计划通过实证评估比较两种方法在实际应用中的性能表现，特别是针对n = 8000以内的矩阵规模和10,000位十进制精度的场景。