[论文解读] Scalable Interpretable Multi-Response Regression via SEED

Mohammad Taha Bahadori, Zemin Zheng+2 more|arXiv (Cornell University)|Aug 12, 2016

Sparse and Compressive Sensing Techniques参考文献 41被引用 6

一句话总结

本文提出 SEED，一种可扩展且可解释的多响应回归方法，通过单次前 r 个奇异值分解求解稀疏广义特征值问题，同时实现降维与变量选择。SEED 在合成数据和真实世界数据（包括包含 270 名用户的大型 Twitter 影响力网络推断任务）上均显著优于最先进方法，在估计精度和速度方面表现更优。

ABSTRACT

Sparse reduced-rank regression is an important tool to uncover meaningful dependence structure between large numbers of predictors and responses in many big data applications such as genome-wide association studies and social media analysis. Despite the recent theoretical and algorithmic advances, scalable estimation of sparse reduced-rank regression remains largely unexplored. In this paper, we suggest a scalable procedure called sequential estimation with eigen-decomposition (SEED) which needs only a single top-$r$ singular value decomposition to find the optimal low-rank and sparse matrix by solving a sparse generalized eigenvalue problem. Our suggested method is not only scalable but also performs simultaneous dimensionality reduction and variable selection. Under some mild regularity conditions, we show that SEED enjoys nice sampling properties including consistency in estimation, rank selection, prediction, and model selection. Numerical studies on synthetic and real data sets show that SEED outperforms the state-of-the-art approaches for large-scale matrix estimation problem.

研究动机与目标

• 解决在同时具有稀疏性和低秩结构的高维多响应回归中，实现可扩展且可解释估计的挑战。
• 开发一种计算高效的算法，同时在稀疏低秩回归中实现降维与变量选择。
• 在温和的正则性条件下，为估计一致性、秩选择、预测和模型选择提供理论保证。
• 在大规模真实世界数据（如社交媒体影响力网络推断）上展示卓越性能。
• 使稀疏低秩回归在可扩展性和可解释性至关重要的大规模数据应用中具备实际部署能力。

提出的方法

• SEED 将稀疏低秩回归问题转化为稀疏广义特征值问题，通过顺序估计实现高效求解。
• 利用单次前 r 个奇异值分解，在统一框架中估计最优低秩与稀疏系数矩阵。
• 通过两个简单步骤估计左奇异向量，同时统一估计稀疏与稠密的右奇异向量。
• 通过利用稀疏特征值分解技术，避免迭代正则化方案，提升计算效率。
• 该算法设计为纯学习过程，与传统损失加惩罚框架解耦，提升可扩展性。
• 可通过顺序二次逼近和低秩解的贪婪优化，扩展至广义线性模型。

实验结果

研究问题

• RQ1 能否开发一种可扩展且可解释的方法，用于大规模稀疏低秩回归，避免计算昂贵的迭代优化？
• RQ2 在温和正则性条件下，所提出的 SEED 方法是否能实现一致估计、准确的秩选择和强大的预测性能？
• RQ3 在真实世界高维数据上，SEED 与 LN–ADMM 和 RCGL 等最先进方法相比，在准确性和速度方面表现如何？
• RQ4 当真实影响力网络仅部分可观测时，SEED 在多大程度上能恢复社交媒体数据中的真实底层影响力网络？
• RQ5 SEED 框架能否扩展至广义线性模型，同时保持统计效率和计算效率？

主要发现

• 在 Twitter 影响力网络数据上，SEED 在图恢复准确率方面显著优于 LN–ADMM 和 RCGL，在秩为 4 时达到最高 AUC。
• SEED 在 Twitter 数据集上的运行时间为 2.83 秒，远低于 LN–ADMM 的 127.34 秒和 RCGL 的 256.87 秒，展现出显著的速度优势。
• 该方法在单变量回归设定下实现了与极小最大误差界一致的估计与预测性能。
• 随着解的秩增加，准确率起初提升但迅速饱和，表明仅需少数主导因子的低秩结构即可充分建模。
• 即使真实影响力网络仅部分可观测，SEED 仍能保持高准确率，使用转发网络作为代理真实标签。
• 理论分析证实，SEED 在温和正则性条件下具备估计一致性、秩选择一致性、预测一致性和模型选择一致性。