[论文解读] The Lambert Way to Gaussianize skewed, heavy tailed data with the inverse of Tukey's h transformation as a special case

Georg M. Goerg|arXiv (Cornell University)|Oct 11, 2010

Plant Water Relations and Carbon Dynamics参考文献 24被引用 4

一句话总结

本文引入了一种参数化、双射变换——Lambert's W，通过引入一个尾部参数 δ ≥ 0，能够生成任意随机变量的重尾版本。当 δ = 0 时，分布保持不变；当 δ > 0 时，出现更重的尾部。当应用于正态分布变量时，该方法退化为 Tukey’s h 分布，且该方法提供了尾部去除的显式逆变换，以及累积分布函数（CDF）和概率密度函数（PDF）的解析表达式——据作者所知，这是文献中首次对 Tukey’s h 分布的 PDF 和 CDF 进行闭式推导。

ABSTRACT

I present a parametric, bijective transformation to generate heavy tail versions Y of arbitrary RVs X ~ F. The tail behavior of the so-called 'heavy tail Lambert W x F' RV Y depends on a tail parameter delta >= 0: for delta = 0, Y = X, for delta > 0 Y has heavier tails than X. For X being Gaussian, this meta-family of heavy-tailed distributions reduces to Tukey's h distribution. Lambert's W function provides an explicit inverse transformation, which can be estimated by maximum likelihood. This inverse can remove heavy tails from data, and also provide analytical expressions for the cumulative distribution (cdf) and probability density function (pdf). As a special case, these yield explicit formulas for Tukey's h pdf and cdf - to the author's knowledge for the first time in the literature. Simulations and applications to S&P 500 log-returns and solar flares data demonstrate the usefulness of the introduced methodology. The R package LambertW (this http URL) implementing the presented methodology is publicly available at CRAN.

研究动机与目标

• 开发一种灵活的参数化变换，能够生成任意随机变量的重尾版本，同时保持双射性。
• 解决 Tukey’s h 分布的概率密度函数和累积分布函数缺乏解析表达式的问题。
• 提供一种通过可逆变换从数据中有效去除重尾的方法。
• 通过将 Tukey’s h 分布嵌入更广泛的分布族中，扩展其适用范围。
• 为偏斜、重尾数据的统计建模提供一种计算可行、可进行最大似然估计的框架。

提出的方法

• 提出变换 Y = T(X; δ)，其中 δ ≥ 0 控制尾部的厚重程度，δ = 0 时对应原始分布 X。
• 利用 Lambert’s W 函数推导出显式的逆变换，从而实现从重尾数据到原始数据的反变换。
• 应用最大似然估计法来估计尾部参数 δ 及其他分布参数。
• 推导出所得分布的累积分布函数（CDF）和概率密度函数（PDF）的解析表达式。
• 证明当 X ~ N(0,1) 时，所得分布退化为 Tukey’s h 分布。
• 在 R 包 LambertW 中实现该方法，该包在 CRAN 上公开可用，以支持实际应用和可重现性。

实验结果

研究问题

• RQ1 能否构建一种通用的双射变换，通过单一尾部参数生成任意随机变量的重尾版本？
• RQ2 该变换的逆是否能有效从真实世界数据中去除重尾？
• RQ3 能否利用该框架推导出 Tukey’s h 分布的 PDF 和 CDF 的显式解析表达式？
• RQ4 该方法在建模真实世界中的偏斜、重尾数据（如金融收益率和太阳耀斑）时表现如何？
• RQ5 所提出的方法是否适合进行最大似然估计，并可在统计软件中实现？

主要发现

• Lambert’s W 变换能够通过单一尾部参数 δ ≥ 0，成功生成任意随机变量 X 的重尾版本。
• 当 δ > 0 时，所得分布 Y 的尾部比 X 更重，且尾部的厚重程度由 δ 控制。
• 当 X 为正态分布时，所得分布退化为 Tukey’s h 分布，且该方法首次提供了其 PDF 和 CDF 的已知闭式解析表达式。
• 逆变换可通过去除尾部过度部分，有效实现对重尾数据的去噪，促进高斯化处理。
• 模拟实验和对 S&P 500 日收益率及太阳耀斑数据的真实数据应用，证实了该方法的稳健性和实际效用。
• 在 CRAN 上可获取的 R 包 LambertW 支持所提方法的可重现性和可扩展实现。