[论文解读] On Learning High Dimensional Structured Single Index Models

Nikhil Rao, Ravi Ganti+3 more|arXiv (Cornell University)|Mar 13, 2016

Statistical Methods and Inference参考文献 29被引用 3

一句话总结

该论文提出CSI，一种计算高效的算法，用于在一般结构约束（如稀疏性、组稀疏性及低秩结构）下学习高维单 index 模型（SIMs）。通过在权重向量上的投影梯度下降与通过LPAV学习Lipschitz连续、单调的函数交替进行，CSI在预测性能上优于广义线性模型，并且在计算成本显著更低的情况下，与单层神经网络性能相当或更优。

ABSTRACT

Single Index Models (SIMs) are simple yet flexible semi-parametric models for machine learning, where the response variable is modeled as a monotonic function of a linear combination of features. Estimation in this context requires learning both the feature weights and the nonlinear function that relates features to observations. While methods have been described to learn SIMs in the low dimensional regime, a method that can efficiently learn SIMs in high dimensions, and under general structural assumptions, has not been forthcoming. In this paper, we propose computationally efficient algorithms for SIM inference in high dimensions with structural constraints. Our general approach specializes to sparsity, group sparsity, and low-rank assumptions among others. Experiments show that the proposed method enjoys superior predictive performance when compared to generalized linear models, and achieves results comparable to or better than single layer feedforward neural networks with significantly less computational cost.

研究动机与目标

• 解决在特征数 d 远大于样本数 n 的高维设置下学习单 index 模型（SIMs）的挑战。
• 开发一种计算高效的算法，能够处理权重向量 w⋆ 上的各种结构假设，包括稀疏性、组稀疏性和低秩结构。
• 在高维、数据稀疏的场景下，同时估计未知的非线性链接函数 g⋆ 和结构化的权重向量 w⋆。
• 提供一个统一的框架，通过单一优化过程推广现有稀疏性和低秩 SIM 估计方法。

提出的方法

• CSI 采用交替优化方案，迭代更新权重向量 w 并估计非线性函数 g⋆。
• 该算法使用带硬阈值化的投影梯度下降，以在 w 上施加结构约束（例如稀疏性、组稀疏性）。
• 对于估计单调、Lipschitz 连续的链接函数 g⋆，CSI 使用 LPAV（同质回归）方法从数据中学习非线性变换。
• 损失函数针对未知的 SIM 进行校准，实现在结构假设下的 w⋆ 和 g⋆ 联合估计。
• 通过“小原子基数”概念，该方法可推广至各种结构，统一了稀疏性、组稀疏性和低秩约束。
• CSI 设计为可扩展且高效，避免了先前工作中使用的昂贵 MCMC 或迭代加权方案。

实验结果

研究问题

• RQ1 我们能否设计一种计算高效的算法，在特征数 d 超过样本数 n 时学习高维单 index 模型？
• RQ2 在高维设置下，如何同时估计未知的非线性链接函数 g⋆ 和结构化的权重向量 w⋆？
• RQ3 一个单一算法能否有效处理 SIM 中如稀疏性、组稀疏性和低秩结构等多样化的结构假设？
• RQ4 当 w⋆ 和 g⋆ 均未知并被联合学习时，CSI 的收敛性质如何？
• RQ5 在高维设置下，CSI 与广义线性模型和单层神经网络相比，在预测性能和计算成本方面表现如何？

主要发现

• 在高维数据集（包括 Flixster 和 MovieLens）上，CSI 的预测性能优于广义线性模型。
• 在 Flixster 数据集上，CSI 的测试 AUC 达到 0.9823，优于 LS（0.9785）和其他基线方法。
• CSI 在显著更低的计算成本下，性能与单层前馈神经网络相当或更优。
• 在合成实验中，CSI 的迭代过程显示出 ℓ2 误差向 w⋆ 单调递减，且随着维度增加收敛速度变慢。
• 该算法对高维噪声具有鲁棒性，并在不同稀疏度水平和数据分布下保持稳定性能。
• 实证结果支持 CSI 以次线性速率 O(1/t) 收敛的猜想，其中统计误差 Δ 依赖于样本量 n、稀疏度 k 和维度 d。