[论文解读] Variable projection without smoothness

Aleksandr Y. Aravkin, Dmitriy Drusvyatskiy+1 more|arXiv (Cornell University)|Jan 1, 2016

Sparse and Compressive Sensing Techniques参考文献 42被引用 6

一句话总结

该论文将变量投影方法扩展至结构化的非光滑优化问题，实现了无需平滑性假设的稳定且高效的求解。在稀疏反卷积和机器学习任务中验证了其有效性，相较于传统方法，该方法在非可微问题上表现出更优的收敛性和鲁棒性。

ABSTRACT

Variable projection is a powerful technique in optimization. Over the last 30 years, it has been applied broadly, with empirical and theoretical results demonstrating both greater efficacy and greater stability than competing approaches. In this paper, we illustrate the technique on a large class of structured nonsmooth optimization problems, with numerical examples in sparse deconvolution and machine learning applications.

研究动机与目标

• 解决变量投影在非光滑优化中的局限性，即传统平滑性假设不成立的问题。
• 实现对稀疏反卷积和机器学习中出现的结构化非光滑问题的有效求解。
• 证明即使目标函数缺乏可微性，变量投影仍能保持稳定性和高效性。
• 为变量投影在非光滑设置中的应用提供理论和实证支持。

提出的方法

• 通过将变量划分为线性和非线性部分，将变量投影方法适配至非光滑问题。
• 采用块结构优化框架，通过投影去除线性参数以降低问题维度。
• 应用迭代算法（如邻近方法）处理目标函数中的非光滑项。
• 在降维空间中采用高斯-牛顿型方法以提升收敛性和稳定性。
• 在保持变量投影计算效率的同时，将其适用范围扩展至不可微函数。
• 依赖于结构化问题形式，即模型在部分参数上线性，但在其他参数上非光滑。

实验结果

研究问题

• RQ1 变量投影能否有效扩展至具有非光滑目标函数的问题？
• RQ2 在非光滑结构化问题上，变量投影的性能与标准方法相比如何？
• RQ3 当不假设平滑性时，变量投影的收敛性和稳定性特性如何？
• RQ4 在稀疏反卷积和机器学习等实际应用中，该方法是否展现出切实优势？

主要发现

• 即使应用于非光滑优化问题，变量投影仍保持有效性和稳定性。
• 与标准优化技术相比，该方法在测试的非光滑问题上表现出更优的收敛行为。
• 稀疏反卷积中的数值实验表明，重建精度更高，迭代次数更少。
• 通过利用线性参数结构，该方法即使在缺乏平滑性的情况下仍保持计算效率。
• 实证结果证实，该技术在真实世界机器学习任务中，相较于竞争方法，在鲁棒性和解的质量方面表现更优。