[论文解读] Projection Onto A Simplex

Yunmei Chen, Xiaojing Ye|arXiv (Cornell University)|Jan 31, 2011

Advanced Optimization Algorithms Research参考文献 5被引用 147

一句话总结

本文提出了一种快速、精确的算法，利用 Moreau 恒等式和单变量优化，将向量投影到标准单纯形上。通过将问题简化为对排序后分量的一维最小化，该方法通过最多 n 次简单的‘计算并比较’步骤完成投影，确保在成像和统计应用中具有高效率和数值稳定性。

ABSTRACT

This mini-paper presents a fast and simple algorithm to compute the projection onto the canonical simplex $ riangle^n$. Utilizing the Moreau's identity, we show that the problem is essentially a univariate minimization and the objective function is strictly convex and continuously differentiable. Moreover, it is shown that there are at most n candidates which can be computed explicitly, and the minimizer is the only one that falls into the correct interval.

研究动机与目标

• 解决在高维空间中将向量投影到标准单纯形的计算挑战。
• 为单纯形上的投影提供一种数值稳定且精确的算法，这是优化和机器学习中的常见操作。
• 通过利用凸分析和邻近算子，克服迭代方法和基于二分法方法的局限性。
• 开发一种既易于实现又高效的方法，适用于实时或大规模应用。
• 通过理论分析和数值验证，确保算法的正确性和高效性。

提出的方法

• 利用 Moreau 恒等式，将单纯形上的投影重新表述为邻近算子问题。
• 将原始的约束最小化问题转化为关于参数 t 的等价单变量优化问题。
• 对输入向量的分量进行排序，以实现目标函数 f(t) 的分段二次分析。
• 推导出一个连续且可微的目标函数 f(t)，其严格凸性确保了高效的根求解。
• 在 n 个候选值 t_i 上进行顺序搜索，这些值通过排序分量的加权平均计算得出，以定位最小值点。
• 使用简单的‘计算并比较’循环，识别满足每个候选区间最优性条件 t ≥ y_{(i)} 的正确 t。

实验结果

研究问题

• RQ1 与现有的迭代或基于二分法的方法相比，能否更高效地计算投影到标准单纯形？
• RQ2 是否存在一种方法，可将投影问题简化为单变量优化，从而实现精确且快速的计算？
• RQ3 使用 Moreau 恒等式和 Fenchel 对偶性，能否为该问题带来更简单、更稳定的算法？
• RQ4 与标准方法相比，所提方法的计算复杂度如何？其随维度 n 的增长趋势如何？
• RQ5 该算法能否以一种正确且易于编码的方式实现，同时保证收敛性和精确结果？

主要发现

• 所提出的算法 projsplx 在最多 n 步内完成对标准单纯形的精确投影，时间复杂度主要由排序决定。
• 目标函数 f(t) 严格凸且连续可微，确保唯一最小值点，并支持可靠的优化。
• 数值实验表明，CPU 时间随维度 n 的增加仅略有上升：在 n=5 时为 1.88 秒，在 n=50 时为 2.52 秒（针对 65,536 个点），表明其具有出色的可扩展性。
• 该算法数值稳定，结果精确，已通过低维手动计算和投影点的可视化验证。
• 该方法高效实用，实现简单，公开提供，适用于科研和实际应用。
• 与传统迭代方法相比，该算法在速度和简洁性上表现更优，特别适合大规模优化和机器学习应用。