[论文解读] On Matching Pursuit and Coordinate Descent

Francesco Locatello, Anant Raj+5 more|arXiv (Cornell University)|Mar 26, 2018

Stochastic Gradient Optimization Techniques被引用 6

一句话总结

本文通过建立匹配追踪（MP）和坐标下降（CD）的仿射不变收敛速率，统一了两者的分析，实现了最紧致的梯度下降法和次线性收敛速率，证明了最速CD在凸目标上的首次加速$\mathcal{O}(1/t^2)$收敛速率，并首次为MP和最速CD在凸目标上实现了$\mathcal{O}(1/t^2)$的加速收敛。该框架通过利用最速方向而非随机方向，实现了更优的收敛性能。

ABSTRACT

Two popular examples of first-order optimization methods over linear spaces are coordinate descent and matching pursuit algorithms, with their randomized variants. While the former targets the optimization by moving along coordinates, the latter considers a generalized notion of directions. Exploiting the connection between the two algorithms, we present a unified analysis of both, providing affine invariant sublinear $\mathcal{O}(1/t)$ rates on smooth objectives and linear convergence on strongly convex objectives. As a byproduct of our affine invariant analysis of matching pursuit, our rates for steepest coordinate descent are the tightest known. Furthermore, we show the first accelerated convergence rate $\mathcal{O}(1/t^2)$ for matching pursuit and steepest coordinate descent on convex objectives.

研究动机与目标

• 建立匹配追踪和坐标下降算法在凸优化中的统一收敛分析。
• 通过仿射不变分析，推导最速坐标下降的紧致次线性和线性收敛速率。
• 为凸目标上的匹配追踪和最速坐标下降提供首个加速收敛速率（$\mathcal{O}(1/t^2)$）。
• 通过统一框架分析追逐方法中最速方向与随机方向之间的权衡。
• 通过使用贪心（最速）更新而非随机更新，改进现有随机坐标下降的收敛速率。

提出的方法

• 引入一种仿射不变分析框架，将坐标下降推广至希尔伯特空间中的原子，利用原子范数定义广义方向。
• 通过原子范数的性质和梯度对齐，建立光滑且强凸目标上匹配追踪的收敛速率。
• 通过将最速坐标下降与标准基原子的匹配追踪的特例关联，推导出最速坐标下降的紧致线性和次线性收敛速率。
• 提出一种新型加速匹配追踪算法，结合动量和线搜索，在凸目标上实现$\mathcal{O}(1/t^2)$收敛。
• 将随机追逐视为最速追逐的近似版本，实现计算成本与收敛速度之间的权衡。
• 利用统一框架连接Frank-Wolfe、MP和CD，实现这些方法间理论保证的迁移。

实验结果

研究问题

• RQ1 能否为匹配追踪和坐标下降开发一种统一的收敛分析，以捕捉其相似性与差异性？
• RQ2 最速坐标下降的最紧收敛速率是什么？与现有结果相比如何？
• RQ3 能否在凸目标上为匹配追踪算法实现加速收敛（$\mathcal{O}(1/t^2)$）？
• RQ4 在收敛速度和对维度的依赖性方面，最速追逐与随机追逐的性能如何比较？
• RQ5 能否利用MP与CD之间的联系，通过贪心更新改进随机坐标下降的收敛速率？

主要发现

• 本文建立了最速坐标下降的最紧已知线性和次线性收敛速率，相较于Stich等人（2017）和Nutini等人（2015）的工作，改进了常数因子。
• 首次证明了匹配追踪在凸目标上的已知加速收敛速率$\mathcal{O}(1/t^2)$，是该领域的重要进展。
• 加速匹配追踪算法的收敛速度优于非加速变体，加速效果在少数迭代后即显现。
• 最速匹配追踪比随机追逐收敛更快，尤其在高维设置下，因其对线性子空间内在维度的依赖性更优。
• 在合成数据和高光谱数据上的实验结果证实，最速更新优于随机更新，且加速显著提升了后期收敛性能。
• 该框架表明，通过最速方向实现的贪心坐标下降，可消除对环境维度的依赖，从而优于加速随机坐标下降的收敛速率。