[论文解读] Statistical dependence: Beyond Pearson's $ ho$

Dag Tjøstheim, Håkon Otneim+1 more|arXiv (Cornell University)|Sep 27, 2018

Financial Risk and Volatility Modeling参考文献 1被引用 7

一句话总结

本文综述了皮尔逊相关系数的现代替代方法，重点关注在非高斯、非线性和重尾数据中表现更优的度量方法，如Copula、距离协方差、HSIC和局部高斯相关（LGC）。LGC提供了一种局部自适应的依赖度量方法，在非高斯情形下优于皮尔逊相关系数ρ，同时在高斯情形下仍保持优异性能。

ABSTRACT

Pearson's $\ ho$ is the most used measure of statistical dependence. It gives a complete characterization of dependence in the Gaussian case, and it also works well in some non-Gaussian situations. It is well known, however, that it has a number of shortcomings; in particular for heavy tailed distributions and in nonlinear situations, where it may produce misleading, and even disastrous results. In recent years a number of alternatives have been proposed. In this paper, we will survey these developments, especially results obtained in the last couple of decades. Among measures discussed are the copula, distribution-based measures, the distance covariance, the HSIC measure popular in machine learning, and finally the local Gaussian correlation, which is a local version of Pearson's $\ ho$. Throughout we put the emphasis on conceptual developments and a comparison of these. We point out relevant references to technical details as well as comparative empirical and simulated experiments. There is a broad selection of references under each topic treated.

研究动机与目标

• 解决皮尔逊相关系数ρ在非高斯、非线性和重尾分布中可能产生误导性结果的局限性。
• 回顾并比较依赖度量的最新发展，包括基于Copula的方法、基于分布的函数以及局部方法。
• 展示局部高斯相关（LGC）作为全局相关度量的灵活局部替代方法的优势。
• 为在统计检验和建模中使用LGC及其他现代依赖度量提供理论和实证依据。
• 通过模拟研究评估基于LGC的独立性检验相对于传统方法（如皮尔逊相关系数ρ和距离协方差dcov）的性能。

提出的方法

• 综述并比较多种依赖度量：Copula、基于分布的函数、距离协方差、HSIC和局部高斯相关（LGC）。
• 将LGC定义为皮尔逊相关系数的局部版本，通过在每个点(x₁, x₂)处的局部高斯似然近似计算，实现局部依赖估计。
• 利用局部高斯似然推导局部均值、方差和相关系数，其中ρ(x₁, x₂) = σ̂(x₁, x₂)/(σ̂₁(x₁)σ̂₂(x₂))为核心公式。
• 基于LGC开发独立性检验函数，如Tₙ,ᵦ = ∫ h(θ̂ₙ,ᵦ(x)) dFₙ(x)，其中h为可测函数，Fₙ为经验分布。
• 应用块自抽样和自抽样方法，验证时间序列和i.i.d.设定下基于LGC的检验的渐近理论。
• 将检验函数扩展至包含多个滞后上的和统计量与最大统计量：Tₙ,ᵦ(sum) = ∑ₛ₁ˢ² Tₙ,ᵦ⁽ˢ⁾ 和 Tₙ,ᵦ(max) = maxₛ₁≤s≤s₂ |Tₙ,ᵦ⁽ˢ⁾|。

实验结果

研究问题

• RQ1 在捕捉非线性和非高斯依赖关系方面，LGC、距离协方差和HSIC等现代依赖度量与皮尔逊相关系数ρ相比表现如何？
• RQ2 在异质性或非椭圆分布数据中，局部高斯相关（LGC）相较于全局相关度量具有哪些理论和实证优势？
• RQ3 在非高斯和重尾分布中，基于LGC的检验函数是否比皮尔逊相关系数ρ或dcov更有效地检测依赖关系？
• RQ4 对称性属性（径向对称、反射对称、交换对称、旋转对称）如何影响LGC及其估计的行为？
• RQ5 在时间序列背景下，基于LGC的独立性检验性能如何，特别是在块自抽样和渐近近似下？

主要发现

• 在非高斯情形下，基于LGC的检验优于皮尔逊相关系数ρ，同时在高斯情形下仍保持强大性能，此时ρ为最优。
• LGC检验函数，特别是滞后上的最大值和和统计量，在模拟实验中表现出优于dcov的检验效能。
• LGC展现出理想的对称性：径向对称、反射对称、交换对称和旋转对称在相关系数估计中得以保持。
• 局部高斯相关在仿射变换下保持不变：ρ(Y₁,Y₂)(y₁,y₂) = ρ(α₁+β₁X₁,α₂+β₂X₂)(α₁+β₁x₁,α₂+β₂x₂)。
• 自抽样方法，包括块自抽样，已验证适用于时间序列中的基于LGC的独立性检验，且渐近理论一致。
• 实证和模拟实验均证实，基于LGC的检验具有稳健性和有效性，尤其在皮尔逊相关系数ρ失效的重尾和非线性数据中检测依赖关系方面表现突出。