[论文解读] Primal-Dual Rates and Certificates

Celestine Dünner, Simone Forte+2 more|arXiv (Cornell University)|Feb 16, 2016

Sparse and Compressive Sensing Techniques被引用 5

一句话总结

本文提出了一种算法无关的框架，为范数正则化的广义线性模型赋予原始-对偶证书和收敛速率保证。通过引入一种新颖的Lipschitz化技巧，该方法在不修改原始问题的前提下实现了全局定义的对偶间隙，从而为Lasso、Elastic Net、组Lasso以及TV正则化问题实现了新的收敛速率。

ABSTRACT

We propose an algorithm-independent framework to equip existing optimization methods with primal-dual certificates. Such certificates and corresponding rate of convergence guarantees are important for practitioners to diagnose progress, in particular in machine learning applications. We obtain new primal-dual convergence rates, e.g., for the Lasso as well as many L1, Elastic Net, group Lasso and TV-regularized problems. The theory applies to any norm-regularized generalized linear model. Our approach provides efficiently computable duality gaps which are globally defined, without modifying the original problems in the region of interest.

研究动机与目标

• 解决大规模机器学习中复杂优化算法缺乏可靠收敛诊断的问题。
• 为凸优化问题提供一种通用的、与算法无关的原始-对偶证书计算方法。
• 实现计算高效的全局定义对偶间隙，且不改变原始问题或其最优解。
• 将现有对偶框架扩展至强凸和有限和问题之外，涵盖广泛的一类范数正则化的广义线性模型。
• 实现更紧致的、依赖于数据矩阵谱范数的数据相关收敛速率，优于以往工作中基于坐标依赖的分析。

提出的方法

• 提出一种基于凸共轭对偶性的原始-对偶框架，适用于任意范数正则化的广义线性模型。
• 引入一种新颖的Lipschitz化技术，使此前缺乏该性质的问题也能实现全局定义的对偶间隙。
• 通过对偶到原始的映射和强凸性论证推导收敛速率，避免对原始问题进行修改。
• 将该框架应用于推导Lasso、Elastic Net、组Lasso以及总变差正则化问题的新收敛速率。
• 确保对偶间隙可在任意迭代点计算，无需对迭代点进行平均，这与某些先前方法不同。
• 利用共轭函数和Fenchel对偶性，基于数据矩阵的谱范数推导出紧致的、依赖于数据的收敛边界。

实验结果

研究问题

• RQ1 我们能否为机器学习中一大类凸优化问题提供与算法无关的原始-对偶证书？
• RQ2 我们能否定义全局有效的对偶间隙，且在不修改原始问题或其解的情况下实现可计算性？
• RQ3 我们能否实现依赖于数据矩阵谱范数而非坐标依赖特性的更紧致收敛速率？
• RQ4 我们能否将现有对偶框架扩展至强凸和有限和问题之外，以涵盖L1、Elastic Net和TV正则化模型？
• RQ5 我们能否消除像SDCA方法那样对迭代点平均的依赖，从而在收敛保证中实现无需平均？

主要发现

• 所提出的框架可在不改变原始问题或其最优解的前提下，为范数正则化的广义线性模型计算全局定义的对偶间隙。
• 为Lasso、Elastic Net、组Lasso以及总变差正则化问题建立了新的原始-对偶收敛速率，其速率依赖于数据矩阵的谱范数。
• 该方法实现了与加速SDCA相当的收敛速率保证，但无需计算平均迭代点。
• 该框架超越了SDCA的适用范围，能够处理非强凸正则化项和一般的凸损失函数。
• 对偶间隙可在任意迭代点高效计算，可作为实践者可靠的停止准则和诊断工具。
• 该方法避免了在先前方法中常见的添加人工L2正则化项以确保强凸性和对偶间隙计算的需求。