[论文解读] Review of Functional Data Analysis

Jane-Ling Wang, Jeng‐Min Chiou+1 more|arXiv (Cornell University)|Jul 18, 2015

Time Series Analysis and Forecasting参考文献 148被引用 96

一句话总结

本文对函数数据分析（FDA）进行了全面综述，重点介绍功能主成分分析（FPCA）和功能线性回归等核心技术，用于分析曲线或函数形式的数据。文章强调了降维、非参数平滑以及时间扭曲和经验微分方程等新兴非线性模型，为密集和稀疏函数数据提供统一的分析框架，并在纵向研究和影像研究中具有应用价值。

ABSTRACT

With the advance of modern technology, more and more data are being recorded continuously during a time interval or intermittently at several discrete time points. They are both examples of "functional data", which have become a prevailing type of data. Functional Data Analysis (FDA) encompasses the statistical methodology for such data. Broadly interpreted, FDA deals with the analysis and theory of data that are in the form of functions. This paper provides an overview of FDA, starting with simple statistical notions such as mean and covariance functions, then covering some core techniques, the most popular of which is Functional Principal Component Analysis (FPCA). FPCA is an important dimension reduction tool and in sparse data situations can be used to impute functional data that are sparsely observed. Other dimension reduction approaches are also discussed. In addition, we review another core technique, functional linear regression, as well as clustering and classification of functional data. Beyond linear and single or multiple index methods we touch upon a few nonlinear approaches that are promising for certain applications. They include additive and other nonlinear functional regression models, such as time warping, manifold learning, and dynamic modeling with empirical differential equations. The paper concludes with a brief discussion of future directions.

研究动机与目标

• 为从事函数数据分析的研究人员提供函数数据分析（FDA）的全面概述。
• 利用非参数和半参数方法应对高维、连续或稀疏观测函数数据带来的挑战。
• 通过引入灵活且平滑的建模方法，弥合传统纵向数据分析与FDA之间的差距。
• 突出FDA的新兴方向，包括高维函数数据、多变量及空间索引函数数据，以及在神经影像学和基因组学中的应用。
• 识别开放问题，如最优成分选择、调优参数选择以及函数数据分析对异常值的稳健性。

提出的方法

• 使用功能主成分分析（FPCA）作为函数数据的主要降维工具，尤其在稀疏数据设置中表现优异。
• 应用非参数平滑技术估计均值函数和协方差函数，实现正则化并克服维度灾难。
• 采用功能线性回归模型将函数预测变量与标量或函数响应变量关联，将经典线性模型扩展至无限维设置。
• 引入非线性扩展，如功能加法模型、时间扭曲和基于经验微分方程的动态建模，以捕捉复杂系统动态。
• 利用Stringing方法通过基于相关性结构的低维域嵌入，将高维预测变量数据转换为函数形式。
• 应用平滑技术和希尔伯特空间方法（例如$L^2$过程）将函数数据建模为具有平滑性假设的随机过程的实现。

实验结果

研究问题

• RQ1 如何利用降维技术有效建模和填补稀疏或不规则采样函数数据？
• RQ2 在函数数据分析中，估计均值函数和协方差函数的最有效非参数和半参数方法是什么？
• RQ3 功能线性模型在何种方式下可扩展以处理非线性动态，如时间扭曲或经验微分方程？
• RQ4 如何将高维预测变量数据转换为函数形式，以实现高效的降维和回归分析？
• RQ5 FDA中的关键挑战和开放问题是什么，特别是关于成分选择、调优参数和对异常值的稳健性？

主要发现

• 功能主成分分析（FPCA）是一种强大的降维技术，可有效填补稀疏观测的函数数据。
• 通过非参数平滑和$L^2$过程中平滑性的假设，可实现正则化，并在密集采样下获得参数型$√{n}$收敛速度。
• 功能线性回归为使用函数预测变量建模标量或函数响应变量提供了灵活框架，通过平滑可实现一致估计。
• 时间扭曲和经验微分方程等非线性模型可捕捉复杂动态系统，有助于评估个体轨迹是否‘处于正轨’。
• Stringing方法通过基于相关性距离的域嵌入，成功将高维相关预测变量转换为函数形式，从而支持功能回归。
• 下一代函数数据，如神经影像和多变量函数数据，日益重要并带来新挑战，特别是在依赖结构和空间索引建模方面。