[论文解读] Online Gradient Descent in Function Space

Changbo Zhu, Huan Xu|arXiv (Cornell University)|Dec 8, 2015

Advanced Bandit Algorithms Research参考文献 19被引用 5

一句话总结

本文将在线梯度下降方法扩展至希尔伯特空间（函数空间），以解决涉及无限维域中随机变量或概率密度函数的优化问题。该研究建立了收敛性保证，并展示了其在机器学习和运筹学关键问题中的适用性。

ABSTRACT

In many problems in machine learning and operations research, we need to optimize a function whose input is a random variable or a probability density function, i.e. to solve optimization problems in an infinite dimensional space. On the other hand, online learning has the advantage of dealing with streaming examples, and better model a changing environ- ment. In this paper, we extend the celebrated online gradient descent algorithm to Hilbert spaces (function spaces), and analyze the convergence guarantee of the algorithm. Finally, we demonstrate that our algorithms can be useful in several important problems.

研究动机与目标

• 解决输入为随机变量或概率密度函数的函数优化问题，要求进行无限维优化。
• 将在线学习的优势——处理流式数据并适应变化环境——整合到函数空间优化中。
• 在希尔伯特空间中开发一个理论基础坚实的在线梯度下降算法，并提供收敛性分析。
• 在真实世界的机器学习和运筹学应用中，展示所提方法的实际效用。

提出的方法

• 在希尔伯特空间中构建优化问题，将函数（如概率密度）视为函数空间中的元素。
• 通过使用泛函梯度，将在线梯度下降算法适配至该无限维空间中直接运行。
• 在希尔伯特空间中定义对可行集的投影步骤，以在更新过程中保持约束。
• 利用再生核希尔伯特空间（RKHS）结构和表示定理，实现泛函梯度的实用计算。
• 采用带动态步长的次梯度下降法，确保在弱假设下的收敛性。
• 利用希尔伯特空间的内积结构，计算函数空间中的方向导数和更新规则。

实验结果

研究问题

• RQ1 在线梯度下降能否推广至函数空间，特别是希尔伯特空间，以处理无限维优化问题？
• RQ2 在流式和时变条件下，在希尔伯特空间中对在线梯度下降可建立何种收敛性保证？
• RQ3 在希尔伯特空间设置下，如何高效计算和更新泛函梯度？
• RQ4 在哪些现实世界问题中，所提算法在函数空间优化方面优于或扩展了现有方法？

主要发现

• 所提出的希尔伯特空间中的在线梯度下降算法实现了次线性遗憾，证明了平均遗憾随时间减少的收敛性。
• 该算法在一般假设下保持理论收敛性，包括函数空间中损失函数的凸性。
• 该方法支持对概率密度函数和随机变量的动态优化，适用于非平稳环境。
• 该框架可通过核方法和RKHS实现，支持高效计算泛函更新。
• 实证验证表明，该算法在在线密度估计和分布上的随机优化等问题中具有有效性。
• 收敛速率取决于损失函数的平滑度和函数空间的几何结构，且已推导出明确的界。