[论文解读] Parametric Learning and Monte Carlo Optimization

David H. Wolpert, Dev Rajnarayan|arXiv (Cornell University)|Apr 10, 2007

Advanced Multi-Objective Optimization Algorithms参考文献 43被引用 11

一句话总结

本文建立了蒙特卡洛优化（MCO）与参数学习（PL）之间的数学等价性，使得所有PL技术（如交叉验证、袋装法和主动学习）可通过一种名为即时采样（immediate sampling）的新方法应用于黑箱优化。关键贡献在于证明了这些PL技术可显著提升优化性能，包括在无需外部调度的情况下实现自适应退火。

ABSTRACT

This paper uncovers and explores the close relationship between Monte Carlo Optimization of a parametrized integral (MCO), Parametric machine-Learning (PL), and `blackbox' or `oracle'-based optimization (BO). We make four contributions. First, we prove that MCO is mathematically identical to a broad class of PL problems. This identity potentially provides a new application domain for all broadly applicable PL techniques: MCO. Second, we introduce immediate sampling, a new version of the Probability Collectives (PC) algorithm for blackbox optimization. Immediate sampling transforms the original BO problem into an MCO problem. Accordingly, by combining these first two contributions, we can apply all PL techniques to BO. In our third contribution we validate this way of improving BO by demonstrating that cross-validation and bagging improve immediate sampling. Finally, conventional MC and MCO procedures ignore the relationship between the sample point locations and the associated values of the integrand; only the values of the integrand at those locations are considered. We demonstrate that one can exploit the sample location information using PL techniques, for example by forming a fit of the sample locations to the associated values of the integrand. This provides an additional way to apply PL techniques to improve MCO.

研究动机与目标

• 揭示并形式化蒙特卡洛优化（MCO）与参数学习（PL）问题之间的数学恒等式。
• 提出即时采样，一种基于概率集合的新方法，将黑箱优化问题转化为MCO问题。
• 验证应用PL技术（如交叉验证和袋装法）以提升黑箱优化性能的有效性。
• 探索通过拟合样本位置到被积函数值的曲面，利用样本位置信息改进MCO，超越标准方法。

提出的方法

• 本文证明MCO在数学上等价于一大类参数学习问题，使得PL技术可直接应用于MCO。
• 提出即时采样作为新型黑箱优化算法，将问题重新表述为MCO任务，从而支持PL方法的应用。
• 该方法利用重要性采样估算积分，以优化变量参数化的样本之和替代真实积分。
• 通过拟合曲面（例如通过贝叶斯回归）利用样本位置与被积函数值之间的关系，以提升MCO性能。
• 该方法采用PL技术（如交叉验证和袋装法）以增强优化过程的鲁棒性与收敛性。
• 通过交叉验证学习自适应退火调度，无需额外的Oracle调用，性能优于固定调度。

实验结果

研究问题

• RQ1 蒙特卡洛优化能否通过数学恒等式与参数学习正式统一？
• RQ2 即时采样算法如何通过利用参数学习技术改进黑箱优化？
• RQ3 交叉验证和袋装法能否在无需额外Oracle查询的情况下自适应设置黑箱优化中的退火调度？
• RQ4 在何种方式下，可利用样本点的空间分布以超越标准重要性采样的方式改进MCO？
• RQ5 通过曲面拟合引入样本位置信息，是否可降低MCO的风险，相比标准方法？

主要发现

• MCO与PL之间的数学恒等式使得所有PL技术（如交叉验证、袋装法和提升法）可直接应用于黑箱优化。
• 当结合交叉验证和袋装法时，即时采样在优化性能上优于标准指数退火调度。
• 交叉验证可用于在无需额外Oracle调用的情况下自适应设置黑箱优化中的退火调度，从而提升收敛性与鲁棒性。
• MCO算法的风险随着估计器方差的减小而降低，且当估计器间协方差增大时风险降低最为显著，尤其在高斯模型中。
• 在高斯情况下，当正交轴方向的标准差（σ_B）趋近于零时，风险趋近于零，表明方差减小的益处。
• 通过PL技术从样本位置到被积函数值拟合曲面，可提供一种额外且有效的方法，以超越标准重要性采样提升MCO性能。