[论文解读] Variational Garrote for Sparse Inverse Problems

Kanghun Lee, Hyungjoon Soh+1 more|arXiv (Cornell University)|Mar 13, 2026

Sparse and Compressive Sensing Techniques被引用 0

一句话总结

论文比较了在声学与图像任务中的稀疏逆问题中 LASSO 与 Variational Garrote (VG)，在强欠定设置通过潜在门控解耦支撑与幅值，VG 往往实现更低的最小泛化误差。

ABSTRACT

Sparse regularization plays a central role in solving inverse problems arising from incomplete or corrupted measurements. Different regularizers correspond to different prior assumptions about the structure of the unknown signal, and reconstruction performance depends on how well these priors match the intrinsic sparsity of the data. This work investigates the effect of sparsity priors in inverse problems by comparing conventional L1 regularization with the Variational Garrote (VG), a probabilistic method that approximates L0 sparsity through variational binary gating variables. A unified experimental framework is constructed across multiple reconstruction tasks including signal resampling, signal denoising, and sparse-view computed tomography. To enable consistent comparison across models with different parameterizations, regularization strength is swept across wide ranges and reconstruction behavior is analyzed through train-generalization error curves. Experiments reveal characteristic bias-variance tradeoff patterns across tasks and demonstrate that VG frequently achieves lower minimum generalization error and improved stability in strongly underdetermined regimes where accurate support recovery is critical. These results suggest that sparsity priors closer to spike-and-slab structure can provide advantages when the underlying coefficient distribution is strongly sparse. The study highlights the importance of prior-data alignment in sparse inverse problems and provides empirical insights into the behavior of variational L0-type methods across different information bottlenecks.

研究动机与目标

• 推动对病态逆问题的稀疏正则化；考察先验如何影响重建质量。
• 在不同的正向算子和信息瓶颈下，比较基于 L1 的（LASSO）与基于潜在门控的（VG）稀疏性先验。
• 分析正则化强度如何影响训练与泛化误差，以评估先验与数据的一致性。

提出的方法

• 在统一的稀疏回归框架中表述逆问题，给定前向算子 A 与变换域 Psi。
• 使用 VG 引入控制系数活动的潜在二进制门控并优化变分自由能目标。
• 在广泛范围内遍历稀疏性超参数（LASSO 的 lambda，VG 的 gamma），通过训练–泛化误差曲线比较。
• 根据任务在变换域或像素域进行重建并评估泛化性能。
• 对信号重采样、信号去噪和稀疏视角 CT 重建进行实验，保持一致的优化设置。

实验结果

研究问题

• RQ1 在不同信息瓶颈（欠采样、噪声、有限角度）下，LASSO 与 VG 的重建精度有何差异？
• RQ2 在强欠定条件下，VG 是否比 LASSO 产生更低的最小泛化误差？
• RQ3 先验选择（Laplace 与类似脉冲-板块的先验）如何影响支撑恢复与跨任务的重建质量？
• RQ4 在 CT 场景中使用 VG 与 LASSO 时，成像重建的定性差异有哪些？

主要发现

• VG 在多数任务中频繁实现比 LASSO 更低的最小泛化误差，尤其在强欠定条件下。
• VG 表现出由于门控驱动的支撑变化而导致的剧烈训练误差跃迁，而 LASSO 的轨迹更为平滑。
• 在稀疏视角 CT 中，VG 能降低均匀区域的重建误差，并在角度欠采样时表现出更稳定的性能。
• 当底层系数高度稀疏时，VG 倾向于提高稳定性和泛化能力。
• 成像结果表明 VG 可能略微降低边界锐度，相对于 LASSO 的潜在先验组合或有收益。