[论文解读] Recursive Optimization of Convex Risk Measures: Mean-Semideviation Models

Dionysios S. Kalogerias, Warren B. Powell|arXiv (Cornell University)|Apr 2, 2018

Risk and Portfolio Optimization参考文献 32被引用 14

一句话总结

本文提出了 MESSAGE$^p$ 算法，这是一种用于优化凸均值-半偏差风险度量（广义均值-上半偏差）的递归、数据驱动的随机次梯度方法，实现了路径一致收敛性，并在强凸成本下达到子最优性速率 ${\cal O}(n^{-(1-\epsilon)/2})$，且速率可任意接近 ${\cal O}(n^{-1/2})$，同时保证稳定性。

ABSTRACT

We develop recursive, data-driven, stochastic subgradient methods for optimizing a new, versatile, and application-driven class of convex risk measures, termed here as mean-semideviations, strictly generalizing the well-known and popular mean-upper-semideviation. We introduce the MESSAGEp algorithm, which is an efficient compositional subgradient procedure for iteratively solving convex mean-semideviation risk-averse problems to optimality. We analyze the asymptotic behavior of the MESSAGEp algorithm under a flexible and structure-exploiting set of problem assumptions. In particular: 1) Under appropriate stepsize rules, we establish pathwise convergence of the MESSAGEp algorithm in a strong technical sense, confirming its asymptotic consistency. 2) Assuming a strongly convex cost, we show that, for fixed semideviation order $p>1$ and for $ε\in\left[0,1 ight)$, the MESSAGEp algorithm achieves a squared-${\cal L}_{2}$ solution suboptimality rate of the order of ${\cal O}(n^{-\left(1-ε ight)/2})$ iterations, where, for $ε>0$, pathwise convergence is simultaneously guaranteed. This result establishes a rate of order arbitrarily close to ${\cal O}(n^{-1/2})$, while ensuring strongly stable pathwise operation. For $p\equiv1$, the rate order improves to ${\cal O}(n^{-2/3})$, which also suffices for pathwise convergence, and matches previous results. 3) Likewise, in the general case of a convex cost, we show that, for any $ε\in\left[0,1 ight)$, the MESSAGEp algorithm with iterate smoothing achieves an ${\cal L}_{1}$ objective suboptimality rate of the order of ${\cal O}(n^{-\left(1-ε ight)/\left(4\bf{1}_{\left\{ p>1 ight\} }+4 ight)})$ iterations. This result provides maximal rates of ${\cal O}(n^{-1/4})$, if $p\equiv1$, and ${\cal O}(n^{-1/8})$, if $p>1$, matching the state of the art, as well.

研究动机与目标

• 开发一种用于优化广义凸风险度量（特别是均值-半偏差）的递归、数据驱动的随机次梯度方法，该类度量广义化了均值-上半偏差。
• 在灵活且能利用结构的假设下，建立所提算法的渐近路径一致收敛性及其收敛速率。
• 通过构建非平凡的反例，证明所提框架支持的问题类别严格大于先前工作（特别是 Yang 等，2018 年）所支持的类别。
• 在强凸成本和一般凸成本设置下，实现最优收敛速率，并显式体现其对半偏差阶数 $p$ 的依赖性。
• 从收敛行为和问题范围两方面，证明所提框架相较于现有风险规避设置下的复合随机优化方法具有优越性。

提出的方法

• 提出 MESSAGE$^p$ 算法，一种专为迭代优化凸均值-半偏差风险规避问题而设计的复合随机次梯度过程。
• 采用一种递归、数据驱动的框架，在复合优化设置中利用风险度量的随机次梯度。
• 提出一种基于结构假设的新分析框架，以平衡随机成本的扩张性与均值-半偏差度量的光滑性。
• 在一般凸成本情形下使用迭代值平滑，以实现 ${\cal L}_1$ 目标子最优性速率 ${\cal O}(n^{-(1-\epsilon)/(4\mathds{1}_{\{p>1\}}+4)})$。
• 采用精心设计的步长规则，结合参数 $\tau_2$ 和 $\tau_3$，以确保路径一致收敛性与最优速率界。
• 通过精细化分析迭代误差的期望平方范数，利用递归不等式与 Chung 引理推广形式，建立收敛性。

实验结果

研究问题

• RQ1 能否为优化比均值-上半偏差更广泛的凸均值-半偏差风险度量类，开发一种递归、数据驱动的随机次梯度方法？
• RQ2 在强凸成本与一般凸成本假设下，此类方法可实现何种收敛速率？其与半偏差阶数 $p$ 的关系如何？
• RQ3 所提算法的收敛行为与 T-SCGD 算法（Yang 等，2018）相比，在问题范围与稳定性方面有何差异？
• RQ4 能否证明该框架支持的风险规避优化问题类别严格大于先前最先进方法？
• RQ5 随机成本的扩张性与风险度量的光滑性之间存在何种权衡？该权衡如何影响收敛速率？

主要发现

• MESSAGE$^p$ 算法在适当的步长规则下实现路径一致收敛，确认其在强技术意义下的渐近一致性。
• 对于强凸成本与固定 $p>1$ 的情形，算法实现 ${\cal L}_2$ 解子最优性速率 ${\cal O}(n^{-(1-\epsilon)/2})$，该速率可任意接近 ${\cal O}(n^{-1/2})$，同时确保路径稳定运行。
• 当 $p \equiv 1$ 时，速率提升至 ${\cal O}(n^{-2/3})$，足以实现路径一致收敛，且与先前结果一致。
• 在一般凸成本情形下结合迭代值平滑，算法实现 ${\cal L}_1$ 目标子最优性速率 ${\cal O}(n^{-(1-\epsilon)/(4\mathds{1}_{\{p>1\}}+4)})$，当 $p \equiv 1$ 时为 ${\cal O}(n^{-1/4}}$，当 $p > 1$ 时为 ${\cal O}(n^{-1/8})$，达到当前最优水平。
• 通过非平凡反例证明，该框架支持的均值-半偏差问题类别严格大于 T-SCGD 算法（Yang 等，2018）所支持的类别。
• 分析揭示了随机成本扩张性与风险度量光滑性之间存在明确的权衡，收敛速率取决于该平衡关系。