[论文解读] The complexity of accurate floating point computation

James Demmel|ArXiv.org|May 1, 2003

Numerical Methods and Algorithms参考文献 16被引用 4

一句话总结

本文提出了一套严格的框架，用于在三种算术模型——传统模型（TM）、长指数模型（LEM）和短指数模型（SEM）——下，以高精度和多项式时间效率评估有理表达式和矩阵分解。研究表明，在 LEM 和 SEM 中，诸如三个数相加或结构化矩阵（如柯西矩阵、范德蒙德矩阵及离散化算子）的分解可以被准确且高效地计算，但在 TM 中则不行，原因在于 TM 的误差界更为严格，而表达式与子式的可因式分解性是决定可计算性的关键标准。

ABSTRACT

Our goal is to find accurate and efficient algorithms, when they exist, for evaluating rational expressions containing floating point numbers, and for computing matrix factorizations (like LU and the SVD) of matrices with rational expressions as entries. More precisely, {\em accuracy} means the relative error in the output must be less than one (no matter how tiny the output is), and {\em efficiency} means that the algorithm runs in polynomial time. Our goal is challenging because our accuracy demand is much stricter than usual.

研究动机与目标

• 识别在严格误差界下可被准确且高效计算的有理表达式和矩阵。
• 基于其支持高精度和高效计算的能力，定义并比较三种算术模型——传统模型、长指数模型和短指数模型。
• 确定矩阵分解（如 LU、SVD）和有理函数求值在相对误差小于 1 且具有多项式时间复杂度的条件下成立的条件。
• 确立 TM 严格弱于 LEM 和 SEM，因为某些计算（如 x+y+z）在 TM 中被证明不可能实现，但在其他模型中可行。
• 将矩阵计算的可计算性与子式及有理表达式的可因式分解性联系起来。

提出的方法

• 使用三种浮点算术模型：TM 的相对误差 δ 受机器精度限制，LEM 允许无界指数大小，SEM 则对指数大小相对于尾数大小施加有界限制。
• 将精度定义为即使输出极小，也能实现相对误差小于 1；将效率定义为输入规模的多项式时间复杂度。
• 在 LEM 中使用稀疏算术，在 SEM 中使用密集算术，以高效表示和计算大数或小数，尤其适用于因式分解形式的表达式。
• 通过分析子式，将矩阵计算的精度问题归约为有理表达式的评估问题，仅在可因式分解性得以保持时才使用拉普拉斯展开。
• 采用有理函数的因式表示：r(x) = ∑(p_i(x)^e_i)，其中每个 p_i 是单项式之和，size(r) 为该形式的位复杂度。
• 使用多项式时间算法精确计算单项式，通过稀疏算术求和，并使用标准舍入运算进行乘除，以确保精度。

实验结果

研究问题

• RQ1 在传统模型（TM）、长指数模型（LEM）和短指数模型（SEM）中，哪些有理表达式可以被准确且高效地计算？
• RQ2 为何在 TM 中，对三个浮点数 x+y+z 的加法被证明无法准确计算，尽管在 LEM 和 SEM 中是可行的？
• RQ3 矩阵（如柯西矩阵、范德蒙德矩阵、M-矩阵）的哪些结构性质使其子式可表示为具有多项式大小的因式形式？
• RQ4 LEM 和 SEM 在计算能力上如何不同？SEM 在可解问题范围上是否严格强于 LEM？
• RQ5 哪些矩阵性质可保证在非对称特征值问题中所有特征值的准确计算？

主要发现

• 传统模型（TM）严格弱于 LEM 和 SEM，因为即使在其他模型中非常直接，它也无法准确计算 x+y+z。
• 在 LEM 中，可表示为具有多项式大小的因式形式的有理函数，可在多项式时间内被准确且高效地计算。
• 当其子式具有多项式大小的因式表示时，LU、SVD 和行列式计算等矩阵计算可对结构化矩阵（如柯西矩阵、范德蒙德矩阵、格林矩阵）实现准确且高效的计算。
• 短指数模型（SEM）支持的可计算问题类严格大于 LEM，因为它允许对尾数位进行密集表示，并将指数大小计入输入成本。
• 在 LEM 中可被准确且高效计算的矩阵类包括其元素为多项式大小有理表达式的矩阵，如 M-矩阵或三对角矩阵的逆矩阵。
• 本文推测，一般矩阵或三对角矩阵在 LEM 中无法在多项式时间内计算，但在 SEM 中可以，这表明三种模型之间存在严格的计算能力层级。