[论文解读] Projection onto the probability simplex: An efficient algorithm with a simple proof, and an application

Weiran Wang, Miguel Á. Carreira-Perpiñán|arXiv (Cornell University)|Sep 6, 2013

Bayesian Methods and Mixture Models参考文献 10被引用 215

一句话总结

该论文提出了一种简单、非迭代的 O(D log D) 算法，用于将向量投影到概率单纯形上，其证明基于基本的 KKT 条件。该方法通过将亲和度向量投影到单纯形上，高效计算拉普拉斯 K-modes 聚类中的最优软聚类分配，从而实现快速的样本外推理和通过梯度投影的训练。

ABSTRACT

We provide an elementary proof of a simple, efficient algorithm for computing the Euclidean projection of a point onto the probability simplex. We also show an application in Laplacian K-modes clustering.

研究动机与目标

• 提供一种将向量投影到概率单纯形上的简单、高效算法。
• 仅使用 KKT 条件，提供一个简洁、基础的正确性证明。
• 展示该算法在拉普拉斯 K-modes 聚类中的实用性，适用于训练和样本外分配。
• 表明基于梯度优化的 LASS（拉普拉斯分配模型）中的投影步骤可以被精确且高效地求解。

提出的方法

• 该算法将输入向量的分量按降序排序，以识别活动集。
• 计算阈值索引 ρ，即满足 u_j + (1 - Σ_{i=1}^j u_i)/j > 0 的最大 j。
• 设置 λ = (1 - Σ_{i=1}^ρ u_i)/ρ 以满足和为一的约束。
• 最终解为 x_i = max(y_i + λ, 0)，该式将向量投影到单纯形上。
• 该方法利用 KKT 条件证明 ρ 恰好对应于解中非零分量的个数。
• 该方法应用于拉普拉斯 K-modes 聚类中，在训练和样本外映射过程中通过将向量投影到单纯形上来计算软分配。

实验结果

研究问题

• RQ1 能否设计一种简单、非迭代的算法，实现对概率单纯形的欧几里得投影，并辅以最简明的证明？
• RQ2 阈值索引 ρ 与解中非零分量的活动集之间的确切关系是什么？
• RQ3 如何将此投影步骤高效地集成到大规模聚类算法（如拉普拉斯 K-modes）中？
• RQ4 该投影机制是否可被重复用于聚类模型中的训练和样本外推理？

主要发现

• 所提出的算法以 O(D log D) 时间完成投影，主要开销为排序，且为非迭代算法，能精确识别活动集。
• 证明仅依赖于 KKT 条件，表明阈值索引 ρ 是满足 u_j + (1 - Σ_{i=1}^j u_i)/j > 0 的最大 j。
• 该方法确保解 x_i = max(y_i + λ, 0) 同时满足和为一与非负性约束。
• 该算法应用于拉普拉斯 K-modes 聚类中，通过梯度投影实现高效优化，并支持样本外分配。
• 在训练和样本外设置中，核心优化均简化为将 K 维向量投影到概率单纯形上。
• 投影步骤计算开销小，使得拉普拉斯分配模型（LASS）能够实现可扩展的推理。