[论文解读] Simpler Online Updates for Arbitrary-Order Central Moments

Xiangrui Meng|arXiv (Cornell University)|Oct 16, 2015

Statistical Methods and Inference参考文献 2被引用 3

一句话总结

本文提出了一种简化的、数值稳定的在线计算任意阶中心矩的算法，基于新数据点与前一均值之差的递归更新。与以往工作相比，该方法降低了计算复杂度和实现复杂度，每次更新仅需一次除法，可在流数据应用中高效地进行原地计算，实现更高阶矩的计算。

ABSTRACT

Statistical moments are widely used in descriptive statistics. Therefore efficient and numerically stable implementations are important in practice. Pebay [1] derives online update formulas for arbitrary-order central moments. We present a simpler version that is also easier to implement.

研究动机与目标

• 开发一种更高效且数值稳定的在线单次遍历方法，用于计算任意阶中心矩。
• 与现有方法（特别是Pébay的公式）相比，简化中心矩的更新公式。
• 通过最小化操作数量和各阶矩之间的依赖关系，降低实现复杂度。
• 在大规模或流数据处理管道中，实现更高阶矩（如偏度、峰度）的高效计算。
• 通过提供轻量级、FLOP高效的更新机制，支持在Apache Spark或Databricks等系统中的实际部署。

提出的方法

• 该方法利用新数据点与前一均值之差 δ = xn − μn−1，推导出中心矩的递归更新规则。
• 将第 p 阶中心矩的变化表示为低阶矩、δ、δ/n 及其幂的函数。
• M_p,n 的更新公式包含二项式系数与 (δ/n) 的幂的求和，并附带一个最终校正项 δ(δ^{p−1} − (δ/n)^{p−1})。
• 该算法支持从低阶到高阶矩的原地顺序更新，提升缓存效率并减少内存使用。
• 通过预计算 δ/n，每次更新仅需一次除法，显著降低计算成本。
• 该方法可轻松扩展至任意阶 p > 2，并可通过现有公式实现高效的并行合并操作。

实验结果

研究问题

• RQ1 我们能否推导出一种比现有方法更简单且数值更稳定的在线更新公式，用于任意阶中心矩？
• RQ2 在流数据环境中，如何降低高阶矩更新的计算复杂度？
• RQ3 在单次遍历处理中，维持准确中心矩所需的最少操作集合是什么？
• RQ4 能否使更新过程更适用于分布式或高性能计算系统中的实现？
• RQ5 与以往关于方差、偏度和峰度的公式相比，所提出方法在效率和准确性方面表现如何？

主要发现

• 所提方法每次更新的浮点运算数（FLOPs）减少至26，且仅包含一次除法，比以往方法更高效。
• 更新公式更简单且易于实现，仅依赖 δ、δ/n 及其幂，无复杂的递归依赖关系。
• 通过避免单独计算大均值和方差，确保了数值稳定性。
• 当 p=4 时，更新仅需26个FLOPs，主要操作为标量乘法和加法。
• 该算法支持从低阶到高阶矩的原地顺序更新，提升内存局部性与性能。
• 偏度和峰度等标准化矩可直接通过标准公式从计算得到的 M_p,n 值推导得出。