[论文解读] Tight Bounds for Approximate Carathéodory and Beyond

Vahab Mirrokni, Renato Paes Leme+2 more|arXiv (Cornell University)|Dec 29, 2015

Complexity and Algorithms in Graphs参考文献 25被引用 13

一句话总结

本文提出了一种确定性的近线性时间算法来求解近似 Carathéodory 问题，为在 ℓp 范数下用顶点近似凸多面体中的任意点提供了紧致的顶点数量边界。研究证明，O(D²p/ε²) 个顶点在近似中既充分也必要，方法基于通过 Sion 定理导出的对偶凸函数的镜像下降（Mirror Descent），并进一步将该方法扩展至子模函数最小化和具有核矩阵效率的 SVM 训练。

ABSTRACT

We give a deterministic nearly-linear time algorithm for approximating any point inside a convex polytope with a sparse convex combination of the polytope's vertices. Our result provides a constructive proof for the Approximate Carathéodory Problem, which states that any point inside a polytope contained in the $\ell_p$ ball of radius $D$ can be approximated to within $ε$ in $\ell_p$ norm by a convex combination of only $O\left(D^2 p/ε^2 ight)$ vertices of the polytope for $p \geq 2$. We also show that this bound is tight, using an argument based on anti-concentration for the binomial distribution. Along the way of establishing the upper bound, we develop a technique for minimizing norms over convex sets with complicated geometry; this is achieved by running Mirror Descent on a dual convex function obtained via Sion's Theorem. As simple extensions of our method, we then provide new algorithms for submodular function minimization and SVM training. For submodular function minimization we obtain a simplification and (provable) speed-up over Wolfe's algorithm, the method commonly found to be the fastest in practice. For SVM training, we obtain $O(1/ε^2)$ convergence for arbitrary kernels; each iteration only requires matrix-vector operations involving the kernel matrix, so we overcome the obstacle of having to explicitly store the kernel or compute its Cholesky factorization.

研究动机与目标

• 为近似 Carathéodory 问题提供一种构造性、确定性的算法，避免依赖于随机采样或精确 Carathéodory 分解的先验知识。
• 建立 ℓp-近似所需顶点数的紧下界 Ω(D²p/ε²)，填补先前工作中留下的空白。
• 开发一种通用技术，通过 Sion 定理导出的对偶函数，利用镜像下降在复杂几何结构的凸集上最小化范数。
• 将该方法扩展至实际优化问题，包括子模函数最小化和使用任意核的 SVM 训练。
• 在无需显式存储或分解核矩阵的前提下，实现 SVM 训练的 O(1/ε²) 收敛速度。

提出的方法

• 在通过 Sion 极小化极大定理获得的对偶凸函数上使用镜像下降，以在具有复杂几何结构的凸集上最小化 ℓp 范数。
• 采用镜像映射 ω(y) = ½‖y‖_{K̃⁻¹}²，其共轭函数为 ω*(z) = ½‖z‖_K̃²（若 ‖z‖_K̃ ≤ 1），否则为线性函数，以确保强凸性并保持次梯度有界。
• 通过引入正则化核矩阵 K̃ = K + (ε/2)I 避免退化，并确保镜像映射的强凸性。
• 通过一种贪心构造方法，其非零项数量为 O(1/η)，推导出目标函数次梯度的利普希茨常数，得到 ℓ₂ 利普希茨常数 L = 2√η。
• 利用强凸参数 σ = min(ε/2, (‖K‖ + ε/2)⁻¹) 来界定镜像下降迭代中的收敛速率。
• 在 SVM 训练中，即时计算次梯度和核向量乘积，避免显式存储核矩阵或进行 Cholesky 分解。

实验结果

研究问题

• RQ1 近似 Carathéodory 定理能否在不依赖随机采样或精确 Carathéodory 分解先验知识的前提下，以构造性方式证明？
• RQ2 ℓp-近似中 O(D²p/ε²) 的边界是否紧致，或可在 ε 或 p 的依赖关系上进一步优化？
• RQ3 能否通过 Sion 定理导出的对偶凸函数，利用镜像下降在具有复杂几何结构的凸集上最小化范数？
• RQ4 该框架能否扩展为子模函数最小化和 SVM 训练提供更快或更简单的算法？
• RQ5 能否仅通过矩阵-向量运算实现 SVM 训练的 O(1/ε²) 收敛，而无需存储或分解核矩阵？

主要发现

• 本文建立了在 ℓp 范数下对多面体中任意点进行 ε-近似的顶点数量的紧下界 Ω(D²p/ε²)，证明已知上界在渐近意义下为最优。
• 为近似 Carathéodory 问题开发了一种确定性的近线性时间算法，运行时间为 O(D²p/ε²) 次迭代，每次迭代线性时间，且无需事先知道精确的 Carathéodory 分解。
• 在子模函数最小化方面，该方法提供了比 Wolfe 算法更快速且更简化的可证明替代方案，后者目前在实践中为最先进方法。
• 在 SVM 训练中，该算法仅通过涉及核矩阵的矩阵-向量运算，实现了 O(1/ε²) 的收敛速度，从而实现无需显式存储核矩阵或 Cholesky 分解的高效训练。
• 对于多项式核和 RBF 核，迭代次数为 O(max(1/(nνε³), 1/(νε²)))，每次迭代仅需 Õ(n) 时间，使其在大规模核方法中具备可扩展性。
• 该方法确保次梯度范数有界于 2√η，从而在强凸性和利普希茨假设下，通过镜像下降实现紧密的收敛性分析。