[论文解读] The Accessible Lasso Models

Amir Sepehri, Naftali Harris|arXiv (Cornell University)|Jan 12, 2015

Statistical Methods and Inference参考文献 12被引用 3

一句话总结

本文通过证明可访问的lasso模型——即对某些响应向量 y 可被lasso选中的带符号系数配置——对应于设计矩阵及其相反数的凸包的面，提供了对可访问lasso模型集合的几何表征。关键结果是：当真实模型大小超过观测数的一半时，无论正则化参数 λ 如何，模型选择均存在不一致性。

ABSTRACT

A new line of research on the lasso exploits the beautiful geometric fact that the lasso fit is the residual from projecting the response vector $y$ onto a certain convex polytope. This geometric picture also allows an exact geometric description of the set of accessible lasso models for a given design matrix, that is, which configurations of the signs of the coefficients it is possible to realize with some choice of $y$. In particular, the accessible lasso models are those that correspond to a face of the convex hull of all the feature vectors together with their negations. This convex hull representation then permits the enumeration and bounding of the number of accessible lasso models, which in turn provides a direct proof of model selection inconsistency when the size of the true model is greater than half the number of observations.

研究动机与目标

• 为给定设计矩阵表征哪些带符号模型（支持集与符号配置）可被lasso选中。
• 建立可访问lasso模型与设计矩阵及其负矩阵的凸包的面之间的几何对应关系。
• 利用多面体组合学（特别是上界定理）对可访问lasso模型的数量进行上界估计。
• 提供一个直接的几何证明，说明当真实模型大小超过观测数的一半时，模型选择存在不一致性。
• 证明模型选择不一致性源于设计矩阵的几何结构，且与正则化参数 λ 的选择无关。

提出的方法

• 通过非负参数化重述lasso优化问题，令 X = [X₀, -X₀] 且 β = (β₀⁺, β₀⁻)，确保每对变量中至多一个非零。
• 将可访问模型 S 定义为满足集合 A_S = {y : supp(β(y)) = S} 非空的模型，对应于响应空间中的区域。
• 利用KKT条件证明零模型多面体 A_∅ 是凸包 CH(X) 的极对偶，从而实现几何分析。
• 建立每个可访问带符号模型 S 对应于 CH(X) 的一个面 F_S，且 A_S 为由 F_S 和 X_S 生成的锥的相对内部。
• 应用凸多面体理论中的上界定理，对 CH(X) 的每个维度的面数进行上界估计，从而对可访问模型的数量进行上界估计。
• 通过证明当 k > n/2 时，大小为 k 的可访问模型数量严格小于可能的带符号模型总数，从而推导出模型选择不一致性：此时真实模型无法以高概率被选中。

实验结果

研究问题

• RQ1 对于给定的设计矩阵 X，lasso 可以选择哪些带符号模型？
• RQ2 lasso 可访问的不同带符号模型有多少个？该数量如何依赖于设计矩阵？
• RQ3 当真实模型大小超过观测数的一半时，为何模型选择会不一致？
• RQ4 正则化参数 λ 的选择是否会影响可访问模型的集合？
• RQ5 设计矩阵 X 和 -X 的凸包的几何结构是否能完全表征lasso的模型选择行为？

主要发现

• 可访问lasso模型的集合恰好对应于设计矩阵及其负矩阵的凸包 CH(X) 的面。
• 大小为 k 的可访问模型数量受到凸多面体上界定理的上界限制，该定理限制了 CH(X) 的 k 维面的数量。
• 当真实模型大小 k 超过 n/2 时，可访问模型的数量严格小于大小为 k 的可能带符号模型总数，导致真实模型无法被选中。
• 模型选择不一致性并非源于 λ 的选择，而是设计矩阵的几何属性，对所有 λ > 0 均成立。
• 模拟结果证实，当 k ≈ n/2 时，lasso 性能显著下降，选择误差急剧上升，与理论边界一致。
• 即使在相关设计矩阵下，选择误差随相关性略有增加，但核心的不一致性结果依然稳健。