[论文解读] Optimal Subspace Estimation Using Overidentifying Vectors via Generalized Method of Moments

Jianqing Fan, Yiqiao Zhong|arXiv (Cornell University)|May 8, 2018

Statistical Methods and Inference参考文献 44被引用 9

一句话总结

本文提出了一种基于广义矩法（GMM）的最优子空间估计方法，利用过度识别向量，通过最优权重矩阵最小化典型角的渐近误差。该方法通过高效组合多个矩条件，实现最小可能的估计误差，适用于因子模型、混合模型和分布式估计。

ABSTRACT

Many statistical models seek relationship between variables via subspaces of reduced dimensions. For instance, in factor models, variables are roughly distributed around a low dimensional subspace determined by the loading matrix; in mixed linear regression models, the coefficient vectors for different mixtures form a subspace that captures all regression functions; in multiple index models, the effect of covariates is summarized by the effective dimension reduction space. Such subspaces are typically unknown, and good estimates are crucial for data visualization, dimension reduction, diagnostics and estimation of unknown parameters. Usually, we can estimate these subspaces by computing moments from data. Often, there are many ways to estimate a subspace, by using moments of different orders, transformed moments, etc. A natural question is: how can we combine all these moment conditions and achieve optimality for subspace estimation? In this paper, we formulate our problem as estimation of an unknown subspace $\mathcal{S}$ of dimension $r$, given a set of overidentifying vectors $\{ \mathrm{\bf v}_\ell \}_{\ell=1}^m$ (namely $m \ge r$) that satisfy $\mathbb{E} \mathrm{\bf v}_{\ell} \in \mathcal{S}$ and have the form $$ \mathrm{\bf v}_\ell = \frac{1}{n} \sum_{i=1}^n \mathrm{\bf f}_\ell(\mathbf{x}_i, y_i), $$ where data are i.i.d. and each function $\mathrm{\bf f}_\ell$ is known. By exploiting certain covariance information related to $\mathrm{\bf v}_\ell$, our estimator of $\mathcal{S}$ uses an optimal weighting matrix and achieves the smallest asymptotic error, in terms of canonical angles. The analysis is based on the generalized method of moments that is tailored to our problem. Our method is applied to aforementioned models and distributed estimation of heterogeneous datasets, and may be potentially extended to analyze matrix completion, neural nets, among others.

研究动机与目标

• 开发一种在高维数据中估计低维子空间的统计最优方法，尤其当存在多个矩条件时。
• 解决如何将多个满足目标子空间中期望条件的过度识别向量整合为单一高效估计器的挑战。
• 通过最优加权矩条件，最小化以典型角衡量的子空间估计的渐近误差。
• 为因子模型、混合线性回归和多指数模型等多样化模型提供统一的框架。
• 通过基于矩的推断聚合异构数据源的子空间信息，实现高效的分布式估计。

提出的方法

• 将子空间估计建模为GMM问题，其中过度识别向量 $\mathbf{v}_\ell$ 满足 $\mathbb{E}[\mathbf{v}_\ell] \in \mathcal{S}$，$\mathcal{S}$ 为未知的 $r$-维子空间。
• 利用独立同分布数据的样本矩 $\mathbf{v}_\ell = \frac{1}{n}\sum_{i=1}^n \mathbf{f}_\ell(\mathbf{x}_i, y_i)$ 构建估计方程。
• 基于过度识别向量的协方差结构推导最优权重矩阵，以最小化子空间估计器的渐近方差。
• 应用广义方法矩估计，通过加权矩矩阵和的特征分解估计子空间。
• 利用Davis-Kahan定理和Weyl不等式，建立估计子空间投影算子的一致性和渐近正态性。
• 引入扰动分析，证明该估计器在所有基于GMM的估计器中，实现了典型角误差的最小可能渐近误差。

实验结果

研究问题

• RQ1 如何最优地组合多个过度识别向量，以在最小渐近误差下估计低维子空间？
• RQ2 在子空间估计中，矩条件的最优权重矩阵是什么？它如何最小化典型角误差？
• RQ3 广义方法矩估计能否被调整，以在具有潜结构的模型中产生渐近高效的子空间估计器？
• RQ4 与现有子空间估计技术相比，该方法在统计效率和鲁棒性方面表现如何？
• RQ5 在一般矩条件假设下，估计器的一致性和渐近分布具有哪些理论保证？

主要发现

• 所提出的基于GMM的估计器在所有使用相同矩条件的可行估计器中，实现了最小可能的典型角渐近误差。
• 最优权重矩阵基于过度识别向量的协方差结构推导得出，确保了子空间估计的效率。
• 该估计器是一致且渐近正态的，其子空间投影算子在Frobenius范数下与真实投影算子的差异具有 $\sqrt{n}$-收敛速率。
• 该方法适用于因子模型、混合线性回归、多指数模型以及异构数据集的分布式估计。
• 理论分析证实，在给定矩条件假设下，估计器的渐近分布达到了子空间估计的Cramér-Rao下界。
• 只要过度识别向量满足条件期望关系 $\mathbb{E}[\mathbf{v}_\ell] \in \mathcal{S}$，该方法对模型误设仍保持鲁棒性。