[论文解读] Optimal Schatten-q and Ky-Fan-k Norm Rate of Low Rank Matrix Estimation

Dong Xia|arXiv (Cornell University)|Mar 25, 2014

Sparse and Compressive Sensing Techniques参考文献 38被引用 4

一句话总结

本文在子高斯设计下，通过矩阵Dantzig选择器和LASSO估计器，建立了低秩矩阵恢复在Schatten-q范数与Ky-Fan-k范数下的最优估计速率。推导了谱范数、Schatten-q范数和Ky-Fan-k范数的紧致上界与匹配的极小极大下界（对数因子内），表明当 $ n \gtrsim Cm[r^2 \vee r\log m\log n] $ 时样本量足够实现最优恢复，结果基于Grassmann流形的度量熵与经验过程理论。

ABSTRACT

In this paper, we consider low rank matrix estimation using either matrix-version Dantzig Selector $\hat{A}_λ^d$ or matrix-version LASSO estimator $\hat{A}_λ^L$. We consider sub-Gaussian measurements, $i.e.$, the measurements $X_1,\ldots,X_n\in\mathbb{R}^{m imes m}$ have $i.i.d.$ sub-Gaussian entries. Suppose $ extrm{rank}(A_0)=r$. We proved that, when $n\geq Cm[r^2\vee r\log(m)\log(n)]$ for some $C>0$, both $\hat{A}_λ^d$ and $\hat{A}_λ^L$ can obtain optimal upper bounds(except some logarithmic terms) for estimation accuracy under spectral norm. By applying metric entropy of Grassmann manifolds, we construct (near) matching minimax lower bound for estimation accuracy under spectral norm. We also give upper bounds and matching minimax lower bound(except some logarithmic terms) for estimation accuracy under Schatten-q norm for every $1\leq q\leq\infty$. As a direct corollary, we show both upper bounds and minimax lower bounds of estimation accuracy under Ky-Fan-k norms for every $1\leq k\leq m$.

研究动机与目标

• 在Schatten-q范数与Ky-Fan-k范数下，建立低秩矩阵恢复估计误差的最优上界与下界。
• 分析在子高斯测量设计下，矩阵Dantzig选择器与LASSO估计器的性能。
• 利用Grassmann流形的度量熵，推导与上界匹配的极小极大下界（对数因子内）。
• 将先前针对Frobenius范数的结果推广至更一般的Schatten范数与Ky-Fan范数。
• 刻画最优估计所需的样本复杂度，表明 $ n \gtrsim Cm[r^2 \vee r\log m\log n] $ 足够。

提出的方法

• 在子高斯测量下的迹回归模型中，使用矩阵Dantzig选择器 $ \hat{A}_{\lambda}^{d} $ 和LASSO估计器 $ \hat{A}_{\lambda}^{L} $。
• 应用经验过程理论与Talagrand型不等式，控制经验范数与其期望之间的偏差。
• 采用Mendelson与Adamczak的不等式，对由低秩矩阵索引的经验过程的上确界进行有界。
• 利用Grassmann流形的度量熵，构造谱范数估计的匹配极小极大下界。
• 推导线性形式 $ \langle A, X \rangle $ 的 $ \psi_2 $-范数，以控制测量的子高斯行为。
• 依赖泛化链与高斯过程复杂度，对秩约束集合上经验过程的期望上确界进行有界。

实验结果

研究问题

• RQ1 在 $ 1 \leq q \leq \infty $ 条件下，低秩矩阵恢复在Schatten-q范数下的最优估计误差速率是什么？
• RQ2 矩阵Dantzig选择器与LASSO能否在Schatten-q与Ky-Fan-k范数下达到极小极大最优速率？
• RQ3 在谱范数与Schatten-q范数下，实现最优估计速率所需的样本量 $ n $ 是多少？
• RQ4 估计误差的上界与极小极大下界相比如何，特别是在对数因子方面？
• RQ5 子高斯设计在何种程度上允许在无需额外结构假设下实现最优恢复？

主要发现

• 当 $ n \gtrsim Cm[r^2 \vee r\log m\log n] $ 时，矩阵Dantzig选择器与LASSO在谱范数下达到估计误差的最优上界（对数因子内）。
• 对于Schatten-q范数估计，本文推导出上界与匹配的极小极大下界（对数项内），适用于所有 $ 1 \leq q \leq \infty $。
• 作为直接推论，本文推导出对每个 $ 1 \leq k \leq m $，Ky-Fan-k范数估计的最优上界与下界。
• 极小极大下界通过Grassmann流形的度量熵构造，与上界在对数因子内匹配，与Ma和Wu [17] 的结果类似。
• 分析表明，样本复杂度 $ n \gtrsim Cm[r^2 \vee r\log m\log n] $ 足够实现谱范数的最优估计，优于先前针对Frobenius范数的 $ n \gtrsim Cmr $ 边界。
• 结果证实，子高斯设计可在无需额外结构假设下实现最优恢复，而矩阵补全模型则不具备此性质。