[论文解读] Nonparametric Reduced Rank Regression

Rina Foygel, Michael T. Horrell+2 more|arXiv (Cornell University)|Jan 9, 2013

Statistical Methods and Inference参考文献 10被引用 14

一句话总结

本文通过函数核范数惩罚提出非参数降秩回归，以估计低秩多变量加法模型，采用基于次微分微积分的后向调整算法。研究建立了高维设定下的Oracle不等式，显示了最优缩放性能，并在基因表达和生化数据上展示了降秩拟合的效果。

ABSTRACT

We propose an approach to multivariate nonparametric regression that generalizes reduced rank regression for linear models. An additive model is estimated for each dimension of a $q$-dimensional response, with a shared $p$-dimensional predictor variable. To control the complexity of the model, we employ a functional form of the Ky-Fan or nuclear norm, resulting in a set of function estimates that have low rank. Backfitting algorithms are derived and justified using a nonparametric form of the nuclear norm subdifferential. Oracle inequalities on excess risk are derived that exhibit the scaling behavior of the procedure in the high dimensional setting. The methods are illustrated on gene expression data.

研究动机与目标

• 将降秩回归从线性模型推广至多变量回归中的非参数加法模型。
• 提出一种核范数的函数形式，以在非参数函数估计中诱导低秩结构。
• 基于核范数惩罚的非参数次微分，推导并证明后向调整算法的合理性。
• 通过高维设定下过失风险的Oracle不等式，建立理论保证。
• 在具有低秩结构的真实数据（如基因表达和生化测量）上验证该方法。

提出的方法

• 提出两种正则化惩罚——Ky-Fan或核范数的函数类比形式——用于非参数多变量加法模型。
• 利用函数次微分微积分，证明了通过迭代更新函数估计的惩罚后向调整算法的合理性。
• 在每次后向调整迭代中应用局部线性平滑与奇异值软阈值化，以强制实现低秩结构。
• 利用谱范数集中不等式，推导出在高维缩放下有限样本风险界。
• 采用十折交叉验证选择调参，平衡模型复杂度与预测精度。
• 在线性假设下，将惩罚特化以恢复经典降秩回归。

实验结果

研究问题

• RQ1 核范数能否推广至非参数函数估计，以在多变量加法模型中诱导低秩结构？
• RQ2 如何基于次微分微积分，推导并证明非参数降秩回归的后向调整算法？
• RQ3 在 $ p $ 和 $ q $ 逐渐增长的高维设定下，该估计量的统计缩放行为如何？
• RQ4 在经典线性情形下，所提惩罚与群组Lasso及核范数正则化相比表现如何？
• RQ5 该方法能否在真实数据（如基因表达和生化测量）中恢复低秩结构？

主要发现

• 在适当的高维缩放条件下，所提方法实现了与样本量 $ n $、维度 $ p $ 和响应维度 $ q $ 均有利缩放的Oracle风险界。
• 采用惩罚1（函数核范数）的后向调整算法在强正则化下产生秩为一或零的分量，且各列具有不同的缩放特性。
• 在惩罚2与交叉验证选择的 $ λ $ 下，基因表达数据的拟合达到秩为5，显著低于最大可能秩27。
• 在生化数据中，$ λ = 1 $ 的正则化得到秩为3的解，其中三个响应变量（磷、磷酸盐、肌酸酐）互为缩放版本。
• 该方法成功恢复了真实数据中的低秩结构，惩罚2下各函数的拟合表现出一致的缩放模式。
• 理论分析表明，在 $ n $、$ p $ 和 $ q $ 的缩放假设下，估计误差趋于零，验证了方法的一致性。