[论文解读] Theory of Dual-sparse Regularized Randomized Reduction

Tianbao Yang, Lijun Zhang+2 more|arXiv (Cornell University)|Apr 15, 2015

Sparse and Compressive Sensing Techniques参考文献 41被引用 9

一句话总结

本文提出双稀疏正则化随机降维（DSRR）方法，通过在随机降维后的对偶问题中引入稀疏正则化项，提升高维分类中的模型恢复性能。在原始对偶解近似稀疏的温和假设下，DSRR 确保恢复的原始解与原解接近，从而在通信成本更低的分布式学习中实现高效应用。

ABSTRACT

In this paper, we study randomized reduction methods, which reduce high-dimensional features into low-dimensional space by randomized methods (e.g., random projection, random hashing), for large-scale high-dimensional classification. Previous theoretical results on randomized reduction methods hinge on strong assumptions about the data, e.g., low rank of the data matrix or a large separable margin of classification, which hinder their applications in broad domains. To address these limitations, we propose dual-sparse regularized randomized reduction methods that introduce a sparse regularizer into the reduced dual problem. Under a mild condition that the original dual solution is a (nearly) sparse vector, we show that the resulting dual solution is close to the original dual solution and concentrates on its support set. In numerical experiments, we present an empirical study to support the analysis and we also present a novel application of the dual-sparse regularized randomized reduction methods to reducing the communication cost of distributed learning from large-scale high-dimensional data.

研究动机与目标

• 解决以往随机降维方法依赖强假设（如低秩数据或大间隔可分性）的局限性。
• 提出一种理论基础坚实的算法，确保降维后能准确恢复原始模型。
• 通过将降维空间的解用作初始点，实现高效分布式学习，从而降低通信开销。
• 在统一框架下分析随机投影、随机哈希和随机采样等多种随机降维技术。
• 为光滑与非光滑损失函数提供统一的恢复保证，突破以往仅关注光滑情况的局限。

提出的方法

• 在降维后分类任务的对偶问题中引入双稀疏正则化项，以促进对偶变量的稀疏性。
• 利用大规模支持向量机中最优对偶解通常具有稀疏性的事实，将其作为理论恢复保证的关键假设。
• 构建一种恢复机制，通过原始数据向量将降维空间中的对偶解映射回原始特征空间。
• 在统一的理论框架下，将该方法应用于随机投影、随机哈希和随机采样等多种随机降维技术。
• 将恢复后的解用作分布式优化算法（如 DisDCA）的初始点，从而减少所需通信轮次。
• 在原始对偶解具有温和稀疏性的假设下，分析原始解与对偶变量的恢复误差界。

实验结果

研究问题

• RQ1 能否在不依赖低秩数据或大间隔可分性等强假设的前提下，实现随机降维后原始模型的准确恢复？
• RQ2 引入双稀疏正则化项如何提升原始空间中原始解与对偶解的恢复精度？
• RQ3 所提方法能否统一适用于随机投影、哈希和采样等不同随机降维技术？
• RQ4 在分布式学习中，将恢复后的解作为初始点是否能显著降低通信成本并加速收敛？
• RQ5 在相同框架下，能否为光滑与非光滑损失函数均提供理论保证？

主要发现

• 所提出的 DSRR 方法在原始对偶解近似稀疏的条件下，确保恢复的对偶解与原始对偶解接近，并建立了理论恢复误差界。
• 该方法对光滑与非光滑损失函数均提供强恢复保证，突破了以往仅限于光滑情况的研究局限。
• 在真实数据集上的数值实验表明，即使在高维设置下，恢复误差仍保持较小，验证了理论分析的有效性。
• 在分布式学习中，将 DSRR 解用作初始点可显著减少通信轮次与训练时间，DSRR-DisDCA-1/2 的性能与在全量数据上直接训练相当。
• 该方法在分布式优化中显著降低了通信成本，尤其在原始特征维数极高时效果更佳，通过优良初始化加速收敛。