[论文解读] On the solution of stochastic optimization and variational problems in imperfect information regimes

Hao Jiang, Uday V. Shanbhag|arXiv (Cornell University)|Feb 6, 2014

Risk and Portfolio Optimization参考文献 38被引用 5

一句话总结

该论文提出了一种耦合随机逼近方案，可在真实参数 θ* 未知的不完全信息环境下，同时求解随机优化与学习问题。该方法在强凸设置下实现了几乎必然收敛和最优收敛速率；在凸设置下，由于学习不确定性导致收敛速率退化为 O(√(ln K)/√K)，但可通过自适应平均化实现恢复。

ABSTRACT

We consider the solution of a stochastic convex optimization problem $\mathbb{E}[f(x;θ^*,ξ)]$ over a closed and convex set $X$ in a regime where $θ^*$ is unavailable and $ξ$ is a suitably defined random variable. Instead, $θ^*$ may be obtained through the solution of a learning problem that requires minimizing a metric $\mathbb{E}[g(θ;η)]$ in $θ$ over a closed and convex set $Θ$. Traditional approaches have been either sequential or direct variational approaches. In the case of the former, this entails the following steps: (i) a solution to the learning problem, namely $θ^*$, is obtained; and (ii) a solution is obtained to the associated computational problem which is parametrized by $θ^*$. Such avenues prove difficult to adopt particularly since the learning process has to be terminated finitely and consequently, in large-scale instances, sequential approaches may often be corrupted by error. On the other hand, a variational approach requires that the problem may be recast as a possibly non-monotone stochastic variational inequality problem in the $(x,θ)$ space; but there are no known first-order stochastic approximation schemes are currently available for the solution of this problem. To resolve the absence of convergent efficient schemes, we present a coupled stochastic approximation scheme which simultaneously solves both the computational and the learning problems. The obtained schemes are shown to be equipped with almost sure convergence properties in regimes when the function $f$ is either strongly convex as well as merely convex.

研究动机与目标

• 解决真实参数 θ* 未知且必须从数据中学习的随机优化问题，而非假设其已知。
• 克服传统顺序方法在大规模设置下因有限终止误差和可扩展性差而产生的局限性。
• 为随机环境下不完全信息中的耦合优化与学习问题提供统一框架。
• 将该方法扩展至随机变分不等式问题，统一不确定条件下的优化与均衡问题。
• 量化学习导致的收敛速率退化，并提供在何种条件下可恢复最优速率的条件。

提出的方法

• 提出一种耦合随机逼近方案，通过单一迭代过程联合更新优化变量 x 和学习变量 θ。
• 采用递减和恒定步长规则，确保在强凸和仅凸设置下的几乎必然收敛。
• 应用平均化技术以降低凸设置下的误差退化，通过适当调整窗口可恢复最优的 O(1/√K) 速率。
• 对于单调随机变分不等式，采用迭代Tikhonov正则化处理非单调性并确保收敛。
• 为在线版本引入非渐近遗憾界，表明在适当步长选择下，平均遗憾以 O(ln K / √K) 的速率衰减。
• 利用问题的结构特性设计一阶方法，此前针对非单调随机变分不等式尚未存在此类方法。

实验结果

研究问题

• RQ1 能否设计一种单一的随机逼近方案，以在数据驱动环境中同时求解随机优化问题并学习未知参数 θ*？
• RQ2 在存在学习不确定性的情况下，该方案的收敛速率如何，特别是在凸与强凸设置之间有何差异？
• RQ3 由于学习导致的解误差如何退化，是否可通过算法设计加以缓解？
• RQ4 所提出的框架能否扩展至具有非单调映射的随机变分不等式问题？
• RQ5 在优化与学习实时进行的在线决策环境中，可建立何种遗憾界？

主要发现

• 所提出的耦合随机逼近方案在强凸和仅凸设置下，对优化与学习分量均实现了几乎必然收敛。
• 在强凸情况下，采用递减步长时，该方案达到最优收敛速率 O(1/√K)。
• 在凸情况下，由于学习不确定性，目标函数值的误差退化为 O(√(ln K)/√K)，但通过调整平均化窗口可恢复至 O(1/√K)。
• 对于随机变分不等式，在弱尖锐性假设下，仅单调设置下解集距离的期望以 O(√(ln K)/√K) 的速率衰减。
• 在线遗憾界以 O(ln K / √K) 的速率衰减，该结果为非渐近形式，适用于实时决策。
• 初步数值结果验证了该方案在不同问题实例与参数设置下的性能表现。