[论文解读] Simple Stochastic and Online Gradient Descent Algorithms for Pairwise Learning

Zhenhuan Yang, Yunwen Lei+3 more|arXiv (Cornell University)|Nov 23, 2021

Stochastic Gradient Optimization Techniques被引用 10

一句话总结

该论文提出了一种简单且适用于成对学习的随机与在线梯度下降算法，该算法仅将每个新实例与前一个实例配对，实现了恒定的 $Ó(1)$ 梯度复杂度。该工作为凸与非凸、光滑与非光滑问题建立了最优的 $Ó(1/ackslash sqrt{n})$ 一般化边界，解决了关于固定大小缓冲集下有意义边界的一个开放问题。

ABSTRACT

Pairwise learning refers to learning tasks where the loss function depends on a pair of instances. It instantiates many important machine learning tasks such as bipartite ranking and metric learning. A popular approach to handle streaming data in pairwise learning is an online gradient descent (OGD) algorithm, where one needs to pair the current instance with a buffering set of previous instances with a sufficiently large size and therefore suffers from a scalability issue. In this paper, we propose simple stochastic and online gradient descent methods for pairwise learning. A notable difference from the existing studies is that we only pair the current instance with the previous one in building a gradient direction, which is efficient in both the storage and computational complexity. We develop novel stability results, optimization, and generalization error bounds for both convex and nonconvex as well as both smooth and nonsmooth problems. We introduce novel techniques to decouple the dependency of models and the previous instance in both the optimization and generalization analysis. Our study resolves an open question on developing meaningful generalization bounds for OGD using a buffering set with a very small fixed size. We also extend our algorithms and stability analysis to develop differentially private SGD algorithms for pairwise learning which significantly improves the existing results.

研究动机与目标

• 为解决现有方法在在线成对学习中需要缓冲大量历史实例所导致的可扩展性问题。
• 解决关于在固定大小缓冲集下对在线梯度下降推导有意义一般化边界的开放问题，特别是当缓冲集大小较小时（例如大小为 1）。
• 开发新颖的稳定性与一般化分析技术，以在优化与一般化误差分析中解耦当前模型与前一实例之间的依赖关系。
• 将该框架扩展至成对学习的差分隐私 SGD，改善现有隐私-精度权衡。

提出的方法

• 提出一种简单的在线梯度下降（OGD）与随机梯度下降（SGD）算法，其中每个新实例仅与前一个实例配对，将每次更新的梯度计算量减少至 $O(1)$。
• 引入一种新颖的解耦技术，以分离当前模型迭代与前一实例之间的依赖关系，从而实现更紧密的稳定性与一般化分析。
• 利用算法稳定性理论推导一般化误差边界，证明了在凸与非凸、光滑与非光滑损失函数下，其过剩风险为 $O(1/\sqrt{n})$。
• 应用从在线到批量的转换技术，推导出在离线设置下的有限样本一般化边界。
• 通过向梯度添加噪声，将该框架扩展至差分隐私，确保隐私性的同时保持优异的性能。
• 采用先进先出（FIFO）缓冲策略，缓冲大小为 $s=1$，实证表明该策略足以实现最优收敛与一般化性能。

实验结果

研究问题

• RQ1 能否设计一种简单的在线梯度下降算法用于成对学习，仅在缓冲区中保留一个前序实例，即可实现最优的一般化边界？
• RQ2 是否可能为具有固定且较小缓冲大小（如 $s=1$）的 OGD 推导出有意义的一般化边界，而非要求 $s \to \infty$？
• RQ3 如何在优化与一般化分析中解耦当前模型与前一实例之间的依赖关系，以实现更紧密的边界？
• RQ4 所提出的算法是否能在保持低计算成本的同时，在差分隐私成对学习中实现具有竞争力的性能？

主要发现

• 所提出的 SGD 与 OGD 算法在凸与非凸、光滑与非光滑的成对学习问题中，均实现了最优的 $O(1/\sqrt{n})$ 一般化误差边界。
• 该方法通过在缓冲集大小固定为 $s=1$ 的情况下建立有意义的一般化边界，解决了文献 [22] 中的开放问题。
• 实验结果表明，由于采用了更高效的采样策略，该算法收敛速度优于基线的 SGD$_{pair}$，且随着 $n$ 增大，优势更加明显。
• 在使用逻辑链接函数的非凸设置中，该算法仍能快速收敛，展现出超越凸性的鲁棒性。
• 差分隐私变体（算法 3）在 AUC 性能上与最先进方法 DPEGD 相当，但 CPU 运行时间显著更短。
• 在 diabetes 与 german 等数据集上，即使在 $\epsilon=0.5$ 的隐私预算下，差分隐私算法的 AUC 分数仍保持在非私有基线的 1-2% 以内，且训练时间快于 DPEGD。