[论文解读] Penalized Likelihood Regression in Reproducing Kernel Hilbert Spaces with Randomized Covariate Data

Xiwen Ma, Bin Dai+4 more|arXiv (Cornell University)|Aug 2, 2010

Statistical Methods and Inference参考文献 45被引用 5

一句话总结

本文提出了一种在再生核希尔伯特空间（RKHS）中针对随机化协变量（即仅以概率分布形式观测到而非精确值）的二值数据和计数数据的惩罚似然回归框架。该研究证明了最大惩罚似然估计量的存在性，提出了一种基于降维的计算算法，并开发了一种广义近似交叉验证（GACV）准则用于平滑参数选择，该方法在测量误差和协变量缺失问题上均得到理论与数值验证。

ABSTRACT

Classical penalized likelihood regression problems deal with the case that the independent variables data are known exactly. In practice, however, it is common to observe data with incomplete covariate information. We are concerned with a fundamentally important case where some of the observations do not represent the exact covariate information, but only a probability distribution. In this case, the maximum penalized likelihood method can be still applied to estimating the regression function. We first show that the maximum penalized likelihood estimate exists under a mild condition. In the computation, we propose a dimension reduction technique to minimize the penalized likelihood and derive a GACV (Generalized Approximate Cross Validation) to choose the smoothing parameter. Our methods are extended to handle more complicated incomplete data problems, such as, covariate measurement error and partially missing covariates.

研究动机与目标

• 解决协变量未被精确观测而仅以概率分布形式呈现（即随机化协变量）时的非参数回归问题。
• 在RKHS中，在较弱正则性条件下证明最大惩罚似然估计量的存在性。
• 开发一种计算上可行的降维方法，以最小化随机化数据下的惩罚似然函数。
• 提出一种广义近似交叉验证（GACV）准则，用于在不完整数据设置下最优平滑参数的选择。
• 通过相同的惩罚似然与GACV方法，将该框架扩展至处理协变量测量误差和部分缺失协变量的问题。

提出的方法

• 将惩罚似然目标函数表述为 $ I_\nu(f) = -\frac{1}{n}\sum_{i=1}^n \log p(y_i|x_i,f) + \frac{\lambda}{2} J(f) $，其中 $ f \in \mathcal{H} $，即再生核希尔伯特空间，且 $ J(f) $ 为惩罚粗糙度的半范数。
• 通过积分出潜在协变量分布来处理随机化协变量，从而得到依赖于观测分布 $ \Pi_i $ 的边际似然。
• 应用高斯求积规则近似协变量分布上的高维积分，将无限维优化问题转化为有限维问题。
• 通过局部线性近似留一法预测误差，推导出广义近似交叉验证（GACV）准则，以计算高效的形式替代精确交叉验证。
• 定义子矩阵的广义平均 $ \bar{H}_{ii} $ 和 $ \bar{G}_{ii} $，以稳定GACV估计器，并确保在高维设置下的鲁棒性。
• 通过将惩罚重新表述为复合RKHS中的范数，将该方法扩展至SS-ANOVA模型，同时保持惩罚似然结构不变。

实验结果

研究问题

• RQ1 当协变量为随机化（即仅以分布形式观测）而非精确值时，最大惩罚似然估计量在何种条件下存在？
• RQ2 当协变量未以点观测形式出现，而是以概率分布表示时，如何高效地最小化惩罚似然函数？
• RQ3 在存在随机化协变量的情况下，是否存在一种计算上可行且稳定的平滑参数 $ \lambda $ 选择方法？
• RQ4 所提出的框架能否扩展至处理更复杂的不完整数据问题，如协变量测量误差和缺失协变量？
• RQ5 广义近似交叉验证（GACV）准则在选择 $ \lambda $ 时表现如何？在所有协变量均被精确观测的情况下，它是否退化为标准GACV？

主要发现

• 在随机化协变量分布和RKHS结构满足较弱条件时，最大惩罚似然估计量存在。
• 所提出的基于求积规则的降维方法可高效计算惩罚似然估计量，即使协变量分布为高维或连续分布。
• 推导出广义近似交叉验证（GACV）准则，并证明其为精确交叉验证的稳定且计算高效的替代方法，其闭式表达式涉及影响矩阵的广义平均。
• 当所有协变量均被精确观测时，GACV准则退化为Xiang和Wahba（1996）提出的标准GACV公式，验证了其一致性。
• 数值研究表明，该方法在存在测量误差和缺失协变量的模拟数据上表现良好，展现出准确的估计与有效的平滑参数选择能力。
• SS-ANOVA模型的扩展在理论上是合理的，因为SS-ANOVA中的惩罚似然可被重新表述为同一RKHS框架下的单个惩罚范数。