[论文解读] Nonparametric Compositional Stochastic Optimization

Amrit Singh Bedi, Alec Koppel+1 more|arXiv (Cornell University)|Feb 15, 2019

Sparse and Compressive Sensing Techniques参考文献 28被引用 9

一句话总结

本文提出COLK，一种在再生核希尔伯特空间（RKHS）中用于非参数复合随机优化的内存高效随机算法，解决了风险感知学习和连续空间马尔可夫决策过程的问题。该方法采用双时标随机逼近与贪婪子空间投影，以处理复合期望，并在衰减步长下实现几乎必然收敛，在恒定步长下实现均值线性收敛，确保有限复杂度。

ABSTRACT

In this work, we address optimization problems where the objective function is a nonlinear function of an expected value, i.e., compositional stochastic {strongly convex programs}. We consider the case where the decision variable is not vector-valued but instead belongs to a reproducing Kernel Hilbert Space (RKHS), motivated by risk-aware formulations of supervised learning and Markov Decision Processes defined over continuous spaces. We develop the first memory-efficient stochastic algorithm for this setting, which we call Compositional Online Learning with Kernels (COLK). COLK, at its core a two-time-scale stochastic approximation method, addresses the fact that (i) compositions of expected value problems cannot be addressed by classical stochastic gradient due to the presence of the inner expectation; and (ii) the RKHS-induced parameterization has complexity which is proportional to the iteration index which is mitigated through greedily constructed subspace projections. We establish almost sure convergence of COLK with attenuating step-sizes, and linear convergence in mean to a neighborhood with constant step-sizes, as well as the fact that its complexity is at-worst finite. The experiments with robust formulations of supervised learning demonstrate that COLK reliably converges, attains consistent performance across training runs, and thus overcomes overfitting.

研究动机与目标

• 解决目标为连续空间中期望值非线性函数的复合随机优化问题。
• 为再生核希尔伯特空间（RKHS）中的决策变量开发一种内存高效的算法，避免核方法中典型的复杂度爆炸问题。
• 克服经典随机梯度方法在处理期望复合时的局限性。
• 在非参数、风险感知学习设置下确保收敛性和有限计算复杂度。
• 为连续空间上的监督学习和马尔可夫决策过程提供稳健的优化框架。

提出的方法

• 提出复合在线学习与核方法（COLK），一种专为RKHS中复合目标设计的双时标随机逼近算法。
• 通过限制迭代次数下RKHS参数化的增长，采用贪婪子空间投影以保持有限复杂度。
• 使用衰减步长以实现几乎必然收敛，使用恒定步长以确保收敛至最优解邻域的均值线性收敛。
• 通过将期望值的估计与外部非线性函数解耦，处理复合问题中的内层期望。
• 将基于核的函数表示与随机逼近相结合，实现在连续域中的非参数建模。
• 利用RKHS的结构表示复杂、非线性的决策函数，同时通过投影控制内存使用。

实验结果

研究问题

• RQ1 能否为再生核希尔伯特空间中的复合随机优化开发一种内存高效的随机算法？
• RQ2 当经典随机梯度方法失效时，如何处理期望值的复合结构？
• RQ3 在非参数、基于核的参数化下，此类算法的收敛性保证为何？
• RQ4 该算法能否在确保风险感知学习任务中可靠收敛的同时保持有限复杂度？
• RQ5 与标准方法相比，该算法在实际应用中鲁棒性和泛化性能如何？

主要发现

• COLK在衰减步长下实现几乎必然收敛，确保以几乎必然性收敛至最优解。
• 在恒定步长下，COLK表现出收敛至最优解邻域的均值线性收敛。
• 由于采用贪婪子空间投影，该算法保持至多有限的计算复杂度，防止了无界增长。
• 实验表明，COLK在不同训练运行中均能可靠收敛，并在鲁棒监督学习公式中缓解了过拟合。
• COLK在多次运行中表现出一致性能，表明其具有稳定性且对初始化不敏感。
• 该方法通过利用基于RKHS的函数表示，有效处理了连续空间中的风险感知学习目标。