[论文解读] Projection onto the capped simplex

Weiran Wang, Canyi Lu|arXiv (Cornell University)|Mar 3, 2015

Robotic Mechanisms and Dynamics参考文献 5被引用 28

一句话总结

本文提出了一种针对 capped simplex（由求和约束和框约束 0 ≤ x ≤ 1 定义的集合）的精确欧氏投影算法，时间复杂度为 O(D²)。该方法利用 KKT 条件，并通过在活动集上进行双重循环搜索，识别出零值、中间值和单位值分量，从而实现高效且精确的投影。与通用求解器（如 CVX 和 lsqlin）相比，该方法在高维情况下表现更优，C++ 实现相比 MATLAB 版本实现了两个数量级的速度提升。

ABSTRACT

We provide a simple and efficient algorithm for computing the Euclidean projection of a point onto the capped simplex---a simplex with an additional uniform bound on each coordinate---together with an elementary proof. Both the MATLAB and C++ implementations of the proposed algorithm can be downloaded at https://eng.ucmerced.edu/people/wwang5.

研究动机与目标

• 开发一种快速且精确的算法，用于计算点在 capped simplex 上的欧氏投影，其中 capped simplex 是由求和约束和框约束定义的集合。
• 将概率单纯形（s = 1）上的投影推广至任意 s ∈ [0, D]，并考虑变量的上下界约束。
• 提供一种简单、高效且可证明正确的算法，附带明确的实现代码和基础证明。
• 在高维设置下，展示该方法相较于通用凸优化求解器的显著性能提升。

提出的方法

• 该算法首先将输入向量 y 按升序排列，以匹配最优解 x 的预期顺序。
• 在所有可能的配对 (a, b) 上进行搜索，其中 a 表示零分量的数量，b 表示前 b 个分量严格位于 0 和 1 之间。
• 对于每个候选配对 (a, b)，使用公式 γ = (s + b - D - T_a + T_b) / (b - a) 计算对偶变量 γ，其中 T_k 表示前 k 个已排序分量的累加和。
• 通过检查 KKT 条件来验证候选解 (a, b, γ)：y_a + γ ≤ 0，y_{a+1} + γ > 0，y_b + γ < 1，以及 y_{b+1} + γ ≥ 1。
• 最终解构造为：当 i ≤ a 时，x_i = 0；当 i = a+1 到 b 时，x_i = y_i + γ；当 i > b 时，x_i = 1。
• 特殊情形处理 a = b 的情况（所有分量为 0 或 1），此时要求 s = D - a 且 y_{a+1} - y_a ≥ 1。

实验结果

研究问题

• RQ1 如何高效计算 capped simplex 上的精确欧氏投影，该集合结合了求和约束和框边界？
• RQ2 该问题的精确求解时间复杂度是多少？与通用凸优化求解器相比有何差异？
• RQ3 能否基于 KKT 条件和活动集识别，推导出一种简单且高效的算法？
• RQ4 所提方法的性能如何随维度 D 变化，特别是在与 CVX 和 lsqlin 的对比下？
• RQ5 使用 C++ 实现与 MATLAB 实现相比，对运行时间性能有何影响？

主要发现

• 所提出的 O(D²) 算法能够精确计算 capped simplex 上的投影，其正确性通过 KKT 条件和基础证明得到验证。
• 该算法显著快于 CVX 和 lsqlin，尤其在维度 D 增大时优势更明显，C++ 版本相比 MATLAB 实现最高可提速 100 倍。
• 当 D = 100,000 时，C++ 实现耗时 8.78 秒，而 lsqlin 和 CVX 因内存不足而崩溃。
• 随着 D 增大，性能差距进一步扩大，证实了利用问题结构对可扩展性至关重要。
• 该方法具有鲁棒性，可处理所有 s ∈ [0, D] 的情况，包括 s = 1（即概率单纯形）这一特殊情况。
• 该算法避免使用迭代方法，可在固定步数内收敛，确保结果的确定性和精确性。