[论文解读] Regularization-free estimation in trace regression with symmetric positive semidefinite matrices

Martin Slawski, Ping Li+1 more|arXiv (Cornell University)|Apr 23, 2015

Sparse and Compressive Sensing Techniques参考文献 24被引用 4

一句话总结

本文提出了一种无需正则化的对称正定（spd）矩阵迹回归方法，通过在spd约束下使用约束最小二乘估计。结果表明，在合适的设计条件下，该方法在估计和预测性能上可与核范数正则化相媲美——且无需调参——从而在保持低秩设定下统计效率的同时简化了实现过程。

ABSTRACT

Over the past few years, trace regression models have received considerable attention in the context of matrix completion, quantum state tomography, and compressed sensing. Estimation of the underlying matrix from regularization-based approaches promoting low-rankedness, notably nuclear norm regularization, have enjoyed great popularity. In the present paper, we argue that such regularization may no longer be necessary if the underlying matrix is symmetric positive semidefinite ( extsf{spd}) and the design satisfies certain conditions. In this situation, simple least squares estimation subject to an extsf{spd} constraint may perform as well as regularization-based approaches with a proper choice of the regularization parameter, which entails knowledge of the noise level and/or tuning. By contrast, constrained least squares estimation comes without any tuning parameter and may hence be preferred due to its simplicity.

研究动机与目标

• 研究在迹回归中估计低秩对称正定矩阵时是否需要正则化。
• 评估在spd约束下约束最小二乘估计与核范数正则化的性能对比。
• 识别在何种设计条件下无需正则化的估计方法可在预测和参数估计方面达到或超过正则化方法。
• 证明约束最小二乘法可避免调参，提升实际可用性。
• 将非负最小二乘的见解拓展至spd矩阵估计的非交换设定。

提出的方法

• 将迹回归模型表述为 $ y_i = \operatorname{tr}(X_i^\top \Sigma^*) + \varepsilon_i $，其中 $ \Sigma^* \in \mathbb{S}_+^m $，即对称正定矩阵的锥。
• 提出约束最小二乘估计：$ \min_{\Sigma \in \mathbb{S}_+^m} \frac{1}{2n} \sum_{i=1}^n (y_i - \operatorname{tr}(X_i^\top \Sigma))^2 $，该方法无需调参。
• 利用切空间分解 $ \widehat{\Delta} = \widehat{\Delta}_{\mathbb{T}} + \widehat{\Delta}_{\mathbb{T}^\perp} $ 分析该方法，其中 $ \mathbb{T} $ 是在 $ \Sigma^* $ 处低秩spd流形的切空间。
• 引入几何量如 $ \tau^2(\mathbb{T}) $、$ \phi^2(\mathbb{T}) $ 和 $ \mu(\mathbb{T}) $，以表征设计矩阵与低秩结构的兼容性。
• 利用涉及 $ \lambda_0 $、$ \tau^2(\mathbb{T}) $、$ \phi^2(\mathbb{T}) $ 和 $ \mu(\mathbb{T}) $ 的不等式，推导估计误差 $ \|\widehat{\Delta}\|_1 $ 的界。
• 证明在有利设计条件下，误差界呈 $ O(\lambda_0) $ 阶，其中 $ \lambda_0 $ 反映了噪声和设计复杂度。

实验结果

研究问题

• RQ1 当真实矩阵为对称正定矩阵时，迹回归中是否可避免正则化？
• RQ2 在何种设计条件下，约束最小二乘估计可达到核范数正则化的性能？
• RQ3 无调参如何影响估计量的实际可用性与统计效率？
• RQ4 能否利用spd锥的几何结构，在无需显式正则化的情况下实现最优估计？
• RQ5 在高维情形 $ n < \delta_m = m(m+1)/2 $ 下，约束最小二乘方法是否仍保持一致性？

主要发现

• 在spd约束下，约束最小二乘估计在估计和预测性能上可与核范数正则化（最优调参下）相媲美。
• 该方法无需调参，简化了实现过程，避免了对噪声水平或秩的估计需求。
• 在有利设计条件下，估计误差的 $ \ell_1 $-范数被 $ T_1 $、$ T_2 $ 或 $ T_3 $ 控制，且三者均呈 $ O(\lambda_0) $ 阶，其中 $ \lambda_0 $ 捕获了噪声和设计复杂度。
• 当 $ \|\widehat{\Delta}_{\mathbb{T}}\|_1 \leq \|\widehat{\Delta}_{\mathbb{T}^\perp}\|_1 $ 时，界 $ \|\widehat{\Delta}\|_1 \leq T_3 = 8\lambda_0 / \tau^2(\mathbb{T}) $ 成立，表明在误差分量均衡时具有鲁棒性。
• 当 $ \|\widehat{\Delta}_{\mathbb{T}^\perp}\|_1 \leq 4\lambda_0 / \phi^2(\mathbb{T}) $ 时，误差被界 $ T_2 = 8\lambda_0 (1 + \mu(\mathbb{T}) / \phi^2(\mathbb{T})) / \phi^2(\mathbb{T}) $ 控制，表明在切空间外误差较小时性能更优。
• 在最坏情形下，误差界为 $ T_1 = 8\lambda_0 \mu(\mathbb{T}) / (\tau^2(\mathbb{T}) \phi^2(\mathbb{T})) \cdot (3/2 + \mu(\mathbb{T}) / \phi^2(\mathbb{T})) + 4\lambda_0 (1/\phi^2(\mathbb{T}) + 1/\tau^2(\mathbb{T})) $，在合理的设计假设下仍保持可控。