[论文解读] Probabilistic Error Analysis for Inner Products

Ilse C. F. Ipsen, Hua Zhou|arXiv (Cornell University)|Jun 25, 2019

Risk and Portfolio Optimization参考文献 13被引用 5

一句话总结

本文提出了一种用于数值计算内积中前向误差的概率误差界，通过使用有界、均值为零的随机变量来建模扰动和舍入误差。通过应用阿祖马不等式和鞅理论，作者推导出更紧致的、非渐近的误差界，其量级随√n而非n增长，验证了威尔金森的直觉，并显著优于确定性误差界——尤其在具有混合符号元素的向量和小失败概率的情况下。

ABSTRACT

Probabilistic models are proposed for bounding the forward error in the numerically computed inner product (dot product, scalar product) between of two real $n$-vectors. We derive probabilistic perturbation bounds, as well as probabilistic roundoff error bounds for the sequential accumulation of the inner product. These bounds are non-asymptotic, explicit, and make minimal assumptions on perturbations and roundoffs. The perturbations are represented as independent, bounded, zero-mean random variables, and the probabilistic perturbation bound is based on Azuma's inequality. The roundoffs are also represented as bounded, zero-mean random variables. The first probabilistic bound assumes that the roundoffs are independent, while the second one does not. For the latter, we construct a Martingale that mirrors the sequential order of computations. Numerical experiments confirm that our bounds are more informative, often by several orders of magnitude, than traditional deterministic bounds -- even for small vector dimensions~$n$ and very stringent success probabilities. In particular the probabilistic roundoff error bounds are functions of $\sqrt{n}$ rather than~$n$, thus giving a quantitative confirmation of Wilkinson's intuition. The paper concludes with a critical assessment of the probabilistic approach.

研究动机与目标

• 开发针对两个实n维向量内积在数值计算下的更紧致的概率前向误差界。
• 解决确定性误差界存在的局限性，后者通常会高估误差，尤其是在n较大或向量具有特定结构时。
• 将扰动和舍入误差建模为有界、均值为零的随机变量，以启用概率集中不等式。
• 通过严格的概率分析，验证威尔金森的直觉：舍入误差的增长量级为√n·u而非n·u。
• 批判性评估概率方法的局限性，特别是当所有向量元素符号相同时。

提出的方法

• 将扰动和舍入误差表示为独立、有界、均值为零的随机变量，以建模局部前向误差。
• 应用阿祖马不等式，利用鞅的性质，将总前向误差界表示为局部误差之和。
• 构建一个鞅序列，以模拟内积的逐次累积过程，从而处理依赖的舍入误差。
• 在独立性假设下，利用阿祖马不等式推导概率扰动界。
• 在不假设独立性的前提下，通过定制化的鞅构造，推导一般性的概率舍入误差界。
• 将所提边界与确定性边界（如γn边界）进行比较，并通过不同维度和符号结构的数值实验进行验证。

实验结果

研究问题

• RQ1 能否推导出显著比传统确定性边界更紧致的概率内积误差界？
• RQ2 在概率建模下，失败概率δ与内积相对误差之间有何关系？
• RQ3 概率边界在多大程度上反映了威尔金森的直觉：即舍入误差按√n·u而非n·u增长？
• RQ4 为何当所有向量元素符号相同时，概率边界在n较大时不再保持上界性质？
• RQ5 通过调整失败概率或在结构化情形下引入偏差，能否系统性地改进概率方法？

主要发现

• 对于具有混合符号元素的向量，即使在n较小时，概率边界（9）也比确定性边界（8）紧致几个数量级。
• 当所有元素符号相同时，概率边界（9）在n ≈ 10^6之后不再保持上界性质，表明存在结构性局限。
• 对于混合符号向量，一般性概率舍入误差边界（11）比确定性边界（10）至少紧致两个数量级。
• 概率边界按√n量级增长，而非n，从而为威尔金森关于舍入误差增长的直觉提供了定量验证。
• 概率边界在同号向量中失效并非数值误差所致，提示需重新审视如零均值舍入误差等建模假设。
• 作者结论认为，尽管概率边界显著更紧致且更具信息量，但其应用需谨慎校准——尤其在结构化向量中——凸显未来研究在依赖维度或引入偏差的模型方面的必要性。