[论文解读] Optimization with Discrete Simultaneous Perturbation Stochastic Approximation Using Noisy Loss Function Measurements

Qi Wang|arXiv (Cornell University)|Oct 31, 2013

Simulation Techniques and Applications参考文献 1被引用 12

一句话总结

本文提出了一种用于在损失函数测量存在噪声的情况下进行离散随机优化的中点离散同时扰动随机逼近（DSPSA）算法。该文证明了算法几乎必然收敛至最优解，并通过均方误差界建立了收敛速率，同时在公开的公共卫生流感防控应用中，通过理论与数值比较表明其性能优于随机规则（SR）和随机比较（SC）算法。

ABSTRACT

Discrete stochastic optimization considers the problem of minimizing (or maximizing) loss functions defined on discrete sets, where only noisy measurements of the loss functions are available. The discrete stochastic optimization problem is widely applicable in practice, and many algorithms have been considered to solve this kind of optimization problem. Motivated by the efficient algorithm of simultaneous perturbation stochastic approximation (SPSA) for continuous stochastic optimization problems, we introduce the middle point discrete simultaneous perturbation stochastic approximation (DSPSA) algorithm for the stochastic optimization of a loss function defined on a p-dimensional grid of points in Euclidean space. We show that the sequence generated by DSPSA converges to the optimal point under some conditions. Consistent with other stochastic approximation methods, DSPSA formally accommodates noisy measurements of the loss function. We also show the rate of convergence analysis of DSPSA by solving an upper bound of the mean squared error of the generated sequence. In order to compare the performance of DSPSA with the other algorithms such as the stochastic ruler algorithm (SR) and the stochastic comparison algorithm (SC), we set up a bridge between DSPSA and the other two algorithms by comparing the probability in a big-O sense of not achieving the optimal solution. We show the theoretical and numerical comparison results of DSPSA, SR, and SC. In addition, we consider an application of DSPSA towards developing optimal public health strategies for containing the spread of influenza given limited societal resources.

研究动机与目标

• 解决仅能获取噪声损失函数测量值的离散随机优化问题。
• 将高效的SPSA框架扩展至离散网格，实现在高维设置下的可扩展优化。
• 在标准随机逼近条件下，为所提出的DSPSA算法建立理论收敛保证。
• 通过最优解选择的子优解概率界，将DSPSA的性能与现有方法（如SR和SC）进行比较。
• 通过在资源受限条件下设计流感防控最优公共健康策略的实际应用，展示其实际效用。

提出的方法

• 提出一种适用于p维离散网格的同步扰动随机逼近（SPSA）方法的离散变体。
• 采用中点扰动方案，仅通过每次迭代的两次噪声函数评估来估计损失函数的梯度。
• 基于估计梯度应用递归更新规则，并采用递减步长以确保收敛。
• 推导出迭代序列均方误差的上界，以分析收敛速率。
• 在噪声和步长序列的标准假设下，建立算法几乎必然收敛至最优解的结论。
• 通过比较大O意义下未能达到最优解的概率，构建DSPSA与现有算法（SR和SC）之间的理论桥梁。

实验结果

研究问题

• RQ1 能否开发一种SPSA的离散版本，在存在噪声损失函数测量的情况下仍保持高效性与收敛性？
• RQ2 所提出的DSPSA算法的收敛速率是多少？与现有离散随机优化方法相比如何？
• RQ3 在大O概率意义下，DSPSA未能达到最优解的概率与SR和SC相比如何？
• RQ4 DSPSA能否有效应用于现实世界的离散优化问题，如资源受限条件下的公共健康策略设计？
• RQ5 在噪声和有限样本损失函数测量条件下，DSPSA收敛性的理论保证有哪些？

主要发现

• 在噪声和步长序列的标准假设下，DSPSA算法被证明几乎必然收敛至最优解。
• 随着迭代次数k的增加，迭代序列的均方误差上界以O(1/k)的速率衰减。
• 通过大O比较可知，DSPSA未能实现最优解的概率低于SR和SC。
• 数值实验表明，DSPSA在基准离散优化问题上的收敛速度和解的精度方面优于SR和SC。
• 在公共卫生应用中，DSPSA成功识别出在资源有限分配条件下遏制流感传播的近似最优策略。
• 理论分析表明，DSPSA在保持SPSA高效性的同时，将其适用范围扩展至离散网格优化问题。