[论文解读] Recovering the Optimal Solution by Dual Random Projection

Lijun Zhang, Mehrdad Mahdavi+3 more|arXiv (Cornell University)|Nov 13, 2012

Sparse and Compressive Sensing Techniques参考文献 37被引用 54

一句话总结

本文提出双随机投影（Dual Random Projection）方法，通过利用经随机投影降维后低维优化问题的对偶解，恢复高维分类问题的最优解。该方法在理论上保证了以高概率恢复原始最优解，误差界依赖于数据矩阵的秩，使用 O(r log r) 次投影即可实现，其中 r 为矩阵的秩。

ABSTRACT

Random projection has been widely used in data classification. It maps high-dimensional data into a low-dimensional subspace in order to reduce the computational cost in solving the related optimization problem. While previous studies are focused on analyzing the classification performance of using random projection, in this work, we consider the recovery problem, i.e., how to accurately recover the optimal solution to the original optimization problem in the high-dimensional space based on the solution learned from the subspace spanned by random projections. We present a simple algorithm, termed Dual Random Projection, that uses the dual solution of the low-dimensional optimization problem to recover the optimal solution to the original problem. Our theoretical analysis shows that with a high probability, the proposed algorithm is able to accurately recover the optimal solution to the original problem, provided that the data matrix is of low rank or can be well approximated by a low rank matrix.

研究动机与目标

• 解决通过随机投影进行维数约简后，在高维机器学习问题中准确恢复最优解的挑战。
• 确保基于投影后数据的特征选择与模型解释性仍忠实于原始高维解。
• 开发一种方法，利用低维问题的对偶解来重构原始空间中的原始最优解。
• 在理论上建立恢复误差较小且以高概率成立的条件。
• 将方法迭代扩展，实现相对误差控制，且迭代复杂度为 O(log 1/ε)。

提出的方法

• 使用高斯矩阵 R ∈ ℝ^{d×m} 进行随机投影，将高维数据 X ∈ ℝ^{d×n} 映射到低维子空间，得到 X̂ = RᵀX / √m。
• 在投影空间中求解低维原始优化问题，获得最优解 z* ∈ ℝ^m。
• 通过在投影数据和 z* 处计算损失函数的梯度，计算低维问题的对偶解 â* ∈ ℝ^n。
• 通过 w̃ = -1/λ X D(y) â* 重构原始高维原始解，其中 D(y) 为标签的对角矩阵。
• 利用对偶解 â* 恢复原始空间中的最优解，确保与原始优化问题结构的一致性。
• 通过在投影空间中求解子问题并更新对偶变量，迭代优化解，以减小相对误差。

实验结果

研究问题

• RQ1 能否从通过随机投影获得的低维解中准确恢复原始高维空间中的最优解？
• RQ2 为确保以高概率恢复最优解，所需的最少随机投影次数是多少？
• RQ3 数据矩阵的秩如何影响双随机投影框架中的恢复误差？
• RQ4 该方法能否迭代扩展，以实现相对误差 ε 且迭代复杂度为对数级？
• RQ5 在何种条件下，低维问题的对偶解能产生接近原始最优解的原始解？

主要发现

• 所提出的双随机投影方法以高概率恢复最优解，所需随机投影次数为 Ω(r log r)，其中 r 为数据矩阵的秩。
• 对于可由低秩矩阵良好近似的数据矩阵，恢复保证依然成立，且误差界较小。
• 恢复误差有界，并随投影次数增加而减小，且在随机投影假设下具有理论保证。
• 即使 d ≫ n，该方法仍能确保恢复解与原始最优解的误差较小。
• 通过迭代应用该方法，可在 O(log 1/ε) 次迭代内实现相对误差 ε，实现高精度恢复。
• 低维空间中的对偶解足以重构原始空间中的原始最优解，保持了特征选择等任务中的模型保真度。