[论文解读] Statistical Inferences of Linear Forms for Noisy Matrix Completion

Dong Xia, Ming Yuan|arXiv (Cornell University)|Aug 31, 2019

Sparse and Compressive Sensing Techniques参考文献 35被引用 13

一句话总结

本文提出了一种通用框架，用于从噪声且不完整的观测中对低秩矩阵的线性形式进行统计推断。通过结合双样本去偏法与低秩投影，该方法在较弱的正则性条件下构造出渐近正态的估计量，从而实现对矩阵线性泛函的有效置信区间与假设检验，即使仅观测到部分带噪条目亦可。

ABSTRACT

We introduce a flexible framework for making inferences about general linear forms of a large matrix based on noisy observations of a subset of its entries. In particular, under mild regularity conditions, we develop a universal procedure to construct asymptotically normal estimators of its linear forms through double-sample debiasing and low-rank projection whenever an entry-wise consistent estimator of the matrix is available. These estimators allow us to subsequently construct confidence intervals for and test hypotheses about the linear forms. Our proposal was motivated by a careful perturbation analysis of the empirical singular spaces under the noisy matrix completion model which might be of independent interest. The practical merits of our proposed inference procedure are demonstrated on both simulated and real-world data examples.

研究动机与目标

• 开发一种通用方法，用于在仅观测到部分带噪条目时，对大型低秩矩阵的线性形式进行统计推断。
• 解决在噪声矩阵补全中，除矩阵层面估计外缺乏对单个条目或线性泛函的推断工具的问题。
• 在最小假设下建立线性形式估计量的渐近正态性，从而支持置信区间与假设检验。
• 提供一种理论基础坚实且计算上可行的程序，适用于任意逐元素一致的矩阵估计量。

提出的方法

• 该方法采用双样本去偏策略，以消除对矩阵的初始逐元素一致估计量中的偏差。
• 它将去偏估计量投影到估计的低秩子空间上，以确保线性形式估计的稳定性和一致性。
• 该框架依赖于在噪声矩阵补全模型下经验奇异空间的扰动分析，这是推导渐近正态性的核心。
• 在较弱的正则性条件下（包括有界相干性和次高斯噪声）推导出理论保证。
• 该方法具有普适性，适用于任何一致估计量，如核范数惩罚或基于矩阵分解的估计量。
• 通过估计量的级数展开建立渐近正态性，利用投影算子扰动的谱范数界。

实验结果

研究问题

• RQ1 当仅观测到部分带噪条目时，能否为低秩矩阵的线性形式构造渐近正态的估计量？
• RQ2 何种条件可确保所提出的去偏与低秩投影程序对线性泛函提供有效的推断？
• RQ3 在个体条目的置信区间覆盖精度与区间宽度方面，该方法与现有方法相比如何？
• RQ4 该框架是否可普遍应用于各种一致估计量，而无需进行模型特定的调整？

主要发现

• 在较弱的正则性条件下，该方法对矩阵任意线性形式的估计量具有渐近正态性，从而支持有效的置信区间与假设检验。
• 即使矩阵仅部分观测且受次高斯噪声污染，该方法仍能实现渐近正态性。
• 估计量的收敛速度与在相同条件下矩阵Frobenius范数估计的最优速率一致。
• 经验奇异空间的扰动分析提供了关键的理论基础，可能在随机矩阵理论中具有独立兴趣。
• 该框架具有鲁棒性与普适性，适用于任何逐元素一致的估计量，包括核范数法与基于矩阵分解的方法。
• 在模拟数据与真实世界数据上的实证结果证实了通过该方法构建的置信区间的实际效用与准确性。