[论文解读] One-vs-Each Approximation to Softmax for Scalable Estimation of Probabilities

Michalis K. Titsias|arXiv (Cornell University)|Sep 23, 2016

Machine Learning and Algorithms参考文献 15被引用 38

一句话总结

该论文提出了一种新颖的 one-vs-each 下界，用于 softmax 函数，通过同时对训练样本和类别标签进行子采样，实现了可扩展的双重随机估计。该下界是对精确 softmax 概率的严格下界，当原始损失函数为凸函数时保持凸性，并在大规模多分类任务中实现了最先进的性能，且计算开销极低。

ABSTRACT

The softmax representation of probabilities for categorical variables plays a prominent role in modern machine learning with numerous applications in areas such as large scale classification, neural language modeling and recommendation systems. However, softmax estimation is very expensive for large scale inference because of the high cost associated with computing the normalizing constant. Here, we introduce an efficient approximation to softmax probabilities which takes the form of a rigorous lower bound on the exact probability. This bound is expressed as a product over pairwise probabilities and it leads to scalable estimation based on stochastic optimization. It allows us to perform doubly stochastic estimation by subsampling both training instances and class labels. We show that the new bound has interesting theoretical properties and we demonstrate its use in classification problems.

研究动机与目标

• 解决在类别数量巨大（如数万或数百万）的模型中精确 softmax 估计的计算不可行性。
• 开发一种计算高效、可扩展的 softmax 概率近似方法，同时保持理论保证。
• 通过允许独立子采样训练样本和类别标签，实现双重随机优化。
• 确保该近似在非参数情况下对最大似然估计具有完美的代理作用。
• 提供一个凸的、可微的下界，支持带有稀疏更新的随机梯度下降。

提出的方法

• 利用恒等式 $ p(y=k) = \frac{1}{1 + \sum_{m \neq k} e^{-(f_k - f_m)}} $ 推导 softmax 概率的下界。
• 应用不等式 $ 1 + \sum_i \alpha_i \leq \prod_i (1 + \alpha_i) $（其中 $ \alpha_i \geq 0 $）得到 $ p(y=k) \geq \prod_{m \neq k} \sigma(f_k - f_m) $，其中 $ \sigma $ 为 sigmoid 函数。
• 将所得下界用作双重随机优化框架中的变分下界，从而实现对数据和类别的同时子采样。
• 通过在每一步仅选择真实类别和一小部分其他类别，实现带有稀疏更新的随机梯度下降。
• 当原始 softmax 损失函数为凸函数时，保持该下界的凸性，确保优化过程的稳定性。
• 采用每轮学习率减半的调度策略，以提升大规模设置下的收敛性。

实验结果

研究问题

• RQ1 能否构建一个 softmax 函数的下界，使其在大规模分类任务中既计算高效又理论可靠？
• RQ2 所提出的 one-vs-each 下界是否在非参数情况下保持精确最大似然估计的全局最优解？
• RQ3 该下界是否支持通过独立子采样训练样本和类别标签实现的双重随机优化？
• RQ4 在大规模多分类问题中，该下界与现有方法（如采样 softmax 或分层 softmax）相比，在准确性和效率方面表现如何？
• RQ5 当原始 softmax 损失函数为凸函数时，该下界是否保持凸性，从而支持稳定高效的优化？

主要发现

• one-vs-each 下界是精确 softmax 概率的严格下界，由成对 sigmoid 概率的乘积推导而来。
• 在非参数情况下，该下界与精确最大似然解具有相同的全局最优解，因此是估计的完美代理。
• 该方法通过独立子采样训练样本和类别标签，实现了双重随机优化，显著降低了计算成本。
• 在 AmazonCat-13K 数据集中，该方法的测试错误率降至 53.11%，显著优于随机猜测和多数类基线（79% 错误率）。
• 使用小批量大小为 1 和每轮迭代采样 5 个类别的稀疏更新策略，在标准 PC 上仅用 26 分钟即完成训练。
• 当原始损失函数为凸函数时，该下界保持凸性，确保了优化过程的收敛稳定性。