[论文解读] On the use of the Gram matrix for multivariate functional principal components analysis

Steven Golovkine, Edward Gunning+2 more|arXiv (Cornell University)|Jun 22, 2023

Spectroscopy and Chemometric AnalysesChemistry被引用 3

一句话总结

本文通过利用函数曲线之间内积的格拉姆矩阵，提出了一种新颖的多元函数主成分分析（MFPCA）方法，建立了观测空间与特征空间之间的对偶性。该方法通过对格拉姆矩阵进行特征分解来估计特征分量，从而在无需直接估计协方差算子的情况下实现高效的降维，并在温和条件下与标准MFPCA具有理论等价性。

ABSTRACT

Dimension reduction is crucial in functional data analysis (FDA). The key tool to reduce the dimension of the data is functional principal component analysis. Existing approaches for functional principal component analysis usually involve the diagonalization of the covariance operator. With the increasing size and complexity of functional datasets, estimating the covariance operator has become more challenging. Therefore, there is a growing need for efficient methodologies to estimate the eigencomponents. Using the duality of the space of observations and the space of functional features, we propose to use the inner-product between the curves to estimate the eigenelements of multivariate and multidimensional functional datasets. The relationship between the eigenelements of the covariance operator and those of the inner-product matrix is established. We explore the application of these methodologies in several FDA settings and provide general guidance on their usability.

研究动机与目标

• 解决高维多元函数数据分析中的计算与估计挑战。
• 克服在复杂函数数据集中估计协方差算子的困难。
• 利用观测空间与特征空间之间的对偶性，简化特征分量的估计。
• 为基于协方差算子的传统MFPCA方法提供一种计算高效的替代方案。
• 建立基于格拉姆矩阵推导出的特征分量与基于协方差算子推导出的特征分量之间的理论等价性。

提出的方法

• 将多元函数数据表示为曲线之间内积的矩阵，形成格拉姆矩阵。
• 对格拉姆矩阵进行特征分解，以提取主成分和得分。
• 利用行（观测）与列（函数特征）之间的对偶性原理，将格拉姆矩阵的特征结构与协方差算子的特征结构相关联。
• 通过矩阵变换，推导格拉姆矩阵与协方差算子的特征值和特征向量之间的关系。
• 通过基展开和从格拉姆矩阵分解中估计系数，重构特征函数。
• 通过引入权矩阵和投影算子，确保归一化与一致性，以维持正交性和单位范数约束。

Figure 1 : Functional data matrix, adapted from Berrendero et al., ( 2011 ) .

实验结果

研究问题

• RQ1 能否通过内积的格拉姆矩阵等价估计多元函数数据中协方差算子的特征分量？
• RQ2 函数数据中观测空间与特征空间之间的对偶性如何实现无需直接估计协方差算子的高效MFPCA？
• RQ3 格拉姆矩阵的特征值与特征向量和真实协方差算子的特征值与特征向量之间存在何种理论关系？
• RQ4 所提出的方法在性能与计算效率方面与现有MFPCA技术相比如何？
• RQ5 在何种条件下，格拉姆矩阵方法能对多元函数数据的主成分提供一致且稳定的估计？

主要发现

• 格拉姆矩阵的特征值等于协方差算子的特征值，建立了理论等价性。
• 格拉姆矩阵的特征向量通过涉及数据矩阵和权矩阵的变换，与协方差算子的特征函数相关联。
• 得分可通过格拉姆矩阵中的内积线性组合直接估计，其公式涉及特征值的逆平方根。
• 该方法无需显式计算协方差算子即可实现降维，从而降低计算负担。
• 该方法适用于定义在不同定义域上的多元函数数据，并可通过适当的加权实现归一化。
• 理论推导证实，在标准函数数据分析假设下，格拉姆矩阵方法能对主成分提供一致的估计。

Figure 5 : Ratio of computation time for Scenario 1 between the Gram matrix method and the covariance operator method. Each univariate component is defined on a one-dimensional domain. $N$ is the number of observations, $M$ is the number of sampling points per curve and $P$ is the number of features