[论文解读] Optimal spectral norm rates for noisy low-rank matrix completion

Karim Lounici|arXiv (Cornell University)|Oct 24, 2011

Sparse and Compressive Sensing Techniques参考文献 18被引用 3

一句话总结

本文在采样分布的广义非一致性条件下，通过核范数惩罚估计器，建立了噪声低秩矩阵补全问题的最优谱范数速率，证明了尖锐的Oracle不等式，并在对数因子范围内达到极小极大最优性。该方法通过去除先前工作中对均匀采样假设的限制，实现了在非均匀采样下高维设置中的最优恢复。

ABSTRACT

In this paper we consider the trace regression model where $n$ entries or linear combinations of entries of an unknown $m_1 imes m_2$ matrix $A_0$ corrupted by noise are observed. We establish for the nuclear-norm penalized estimator of $A_0$ introduced in \cite{KLT} a general sharp oracle inequality with the spectral norm for arbitrary values of $n,m_1,m_2$ under an incoherence condition on the sampling distribution $Π$ of the observed entries. Then, we apply this method to the matrix completion problem. In this case, we prove that it satisfies an optimal oracle inequality for the spectral norm, thus improving upon the only existing result \cite{KLT} concerning the spectral norm, which assumes that the sampling distribution is uniform. Note that our result is valid, in particular, in the high-dimensional setting $m_1m_2\gg n$. Finally we show that the obtained rate is optimal up to logarithmic factors in a minimax sense.

研究动机与目标

• 在一般采样分布下，为迹回归模型中的核范数惩罚估计器建立尖锐的Oracle不等式。
• 将现有矩阵补全结果扩展至非均匀采样方案，此类方案在现实应用（如Netflix问题）中普遍存在。
• 证明估计器的谱范数速率在极小极大意义下达到最优，仅相差对数因子。
• 在保持最优估计性能的同时，去除先前工作中（特别是[13]）对均匀采样的假设。

提出的方法

• 本文分析了[13]中提出的核范数惩罚估计器，其定义为结合经验风险与核范数正则化的损失函数的最小化器。
• 在采样分布 $ \Pi $ 的非一致性条件下，针对任意 $ n, m_1, m_2 $ 推导出谱范数下的通用尖锐Oracle不等式。
• 利用非交换Bernstein不等式及次高斯与次指数噪声的矩界，控制经验过程的偏差。
• 将该估计器应用于非均匀采样的矩阵补全问题，证明谱范数误差速率在对数因子范围内达到最优。
• 通过构造一组具有良好分离性的低秩矩阵，建立极小极大下界。
• 结合浓度不等式与Kullback-Leibler散度论证，推导出估计误差的高概率界。

实验结果

研究问题

• RQ1 在非均匀采样分布下，能否为噪声低秩矩阵补全问题实现最优谱范数速率？
• RQ2 当采样为非均匀时，核范数惩罚估计器在谱范数意义下是否具有极小极大最优性？
• RQ3 采样分布的非一致性条件能否替代现有矩阵补全结果中的均匀性假设？
• RQ4 在一般采样方案下，核范数估计器在谱范数下的收敛速率为何？
• RQ5 在高维情形 $ m_1 m_2 \gg n $ 下，谱范数误差速率与极小极大下界相比如何？

主要发现

• 本文在采样分布 $ \Pi $ 满足非一致性条件、且以高概率 $ 1 - e^{-t} $ 下，为核范数惩罚估计器建立了谱范数下的尖锐Oracle不等式，适用于任意 $ n, m_1, m_2 $。
• 谱范数误差界为 $ \|\hat{A}^\lambda - A_0\|_\infty \leq C(\sigma \vee a)\sqrt{m_1 m_2} \sqrt{(m_1 \vee m_2) \frac{t + \log(m_1 + m_2)}{n}} $，其中 $ C $ 为数值常数。
• 所推导的速率在极小极大意义下对一类低秩矩阵达到最优，仅相差对数因子。
• 本结果改进了[13]，去除了对均匀采样的假设，而该假设在Netflix问题等实际应用中往往不现实。
• 该方法在高维情形 $ m_1 m_2 \gg n $ 下实现了最优速率，而传统均匀采样假设在此类情形下失效。
• 分析结果证实，谱范数速率具有极小极大最优性，下界与上界仅相差对数因子。