[论文解读] Multivariate Smoothing via the Fourier Integral Theorem and Fourier Kernel

Nhat Ho, Stephen G. Walker|arXiv (Cornell University)|Dec 28, 2020

Statistical Methods and Inference参考文献 41被引用 4

一句话总结

本文提出一种基于傅里叶积分定理与傅里叶核的新型多元平滑方法，可实现密度、回归函数及混合密度的非参数估计，且无需选择带宽协方差矩阵。通过利用一维傅里叶核的乘积，该方法天然保留了各维度间的依赖结构，从而在收敛速度上优于标准核方法。

ABSTRACT

Starting with the Fourier integral theorem, we present natural Monte Carlo estimators of multivariate functions including densities, mixing densities, transition densities, regression functions, and the search for modes of multivariate density functions (modal regression). Rates of convergence are established and, in many cases, provide superior rates to current standard estimators such as those based on kernels, including kernel density estimators and kernel regression functions. Numerical illustrations are presented.

研究动机与目标

• 基于傅里叶积分定理，构建一种无需带宽协方差矩阵的非参数多元平滑框架。
• 解决传统核方法的局限性，特别是多元设置下带宽选择与协方差结构估计的复杂性。
• 建立傅里叶核估计器的理论收敛速率，证明其在密度与回归估计中优于标准核方法。
• 将此前在多元回归中较少使用的傅里叶核方法拓展应用，提供一种自然的乘积核方法，以保留依赖结构。
• 为多元函数（包括模态回归与转移密度）提供基于蒙特卡洛的估计程序，并附有严格的理论保证。

提出的方法

• 利用傅里叶积分定理将函数 $ m(x) $ 表示为含 $ \frac{\sin(R(y_j - x_j))}{y_j - x_j} $ 的积分形式，从而实现蒙特卡洛近似。
• 构造傅里叶密度估计器为 $ \widehat{f}_{n,R}(x) = \frac{1}{n\pi^d} \sum_{i=1}^n \prod_{j=1}^d \frac{\sin(R(x_j - X_{ij}))}{x_j - X_{ij}} $，基于独立同分布样本。
• 通过Nadaraya–Watson型估计器将方法扩展至非参数回归：$ \widehat{m}_{n,R}(x) = \frac{\sum_{i=1}^n Y_i \prod_{j=1}^d K_R(x_j - X_{ij})}{\sum_{i=1}^n \prod_{j=1}^d K_R(x_j - X_{ij})} $，其中 $ K_R(u) = \frac{\sin(Ru)}{u} $。
• 在高维中使用一维傅里叶核的乘积，自动保留依赖结构，无需显式建模协方差结构。
• 应用经验过程理论与对称化技术，控制经验过程的上确界，确保一致收敛性质。
• 采用乘子自展法与浓度不等式，建立渐近正态性与收敛速率，其中 $ R^d $ 的缩放控制偏差-方差权衡。

实验结果

研究问题

• RQ1 能否利用傅里叶积分定理构建一种多元非参数平滑方法，避免带宽协方差矩阵的估计？
• RQ2 基于傅里叶核的密度与回归估计器的理论收敛速率相较于标准核方法如何？
• RQ3 在高维中，一维傅里叶核的乘积是否能天然保留依赖结构，而无需显式建模？
• RQ4 所提出的多元函数蒙特卡洛估计器在偏差、方差与渐近正态性方面表现如何？
• RQ5 傅里叶核方法能否拓展至模态回归与转移密度估计，并在有限样本下实现性能提升？

主要发现

• 所提出的傅里叶核估计器在多元密度与回归函数估计中，收敛速度优于标准核估计器。
• 该方法无需显式选择带宽协方差矩阵，因一维傅里叶核的乘积天然捕捉了各维度间的依赖关系。
• 估计器 $ \widehat{m}_{n,R}(x) $ 渐近正态，满足 $ \sqrt{n/R^d} \cdot \frac{\widehat{a}_2(x)}{\widehat{f}_{n,R}(x)} \xrightarrow{d} \mathcal{N}\left(0, \frac{\sigma^2}{p_0(x)\pi^d}\right) $，证实其渐近效率。
• 偏差项 $ \sqrt{n/R^d} \cdot \frac{\widehat{a}_1(x)}{\widehat{f}_{n,R}(x)} \xrightarrow{p} 0 $，表明在适当的 $ R $ 增长条件下偏差会消失。
• 理论界表明，经验过程偏差受控于 $ \mathcal{O}_P\left(\sqrt{\frac{R^d \log R}{n}}\right) $，确保了一致收敛性。
• 数值结果验证了该方法在密度与回归估计中的实际可行性与优越性能，优于经典核方法。