[论文解读] Polarized consensus-based dynamics for optimization and sampling

Leon Bungert, Tim Roith+1 more|arXiv (Cornell University)|Nov 9, 2022

Quantum many-body systems被引用 6

一句话总结

本文提出极化共识动力学以克服标准共识优化（CBO）和采样（CBS）在检测多个全局最小值或多重模态分布时的局限性。通过使用邻近加权核函数局部化粒子相互作用，该方法实现了多个共识点，证明了对高斯目标的无偏采样，并在多重模态优化和非高斯采样中表现出更优性能。

ABSTRACT

In this paper we propose polarized consensus-based dynamics in order to make consensus-based optimization (CBO) and sampling (CBS) applicable for objective functions with several global minima or distributions with many modes, respectively. For this, we ``polarize'' the dynamics with a localizing kernel and the resulting model can be viewed as a bounded confidence model for opinion formation in the presence of common objective. Instead of being attracted to a common weighted mean as in the original consensus-based methods, which prevents the detection of more than one minimum or mode, in our method every particle is attracted to a weighted mean which gives more weight to nearby particles. We prove that in the mean-field regime the polarized CBS dynamics are unbiased for Gaussian targets. We also prove that in the zero temperature limit and for sufficiently well-behaved strongly convex objectives the solution of the Fokker--Planck equation converges in the Wasserstein-2 distance to a Dirac measure at the minimizer. Finally, we propose a computationally more efficient generalization which works with a predefined number of clusters and improves upon our polarized baseline method for high-dimensional optimization.

研究动机与目标

• 解决标准CBO和CBS在仅收敛至一个全局最小值或模式时的根本局限性。
• 使共识方法能够检测非凸、多重模态目标函数中的多个最小值。
• 为多重模态分布（特别是高斯混合分布）开发数学基础扎实且无偏的采样方法。
• 通过基于聚类的变体提升高维问题中的计算效率。
• 在均场框架下，为优化和采样设置建立理论收敛保证。

提出的方法

• 用基于核函数的局部化邻近加权均值替代标准CBO中的全局加权均值，以突出邻近粒子的影响。
• 将极化均值定义为 mβ[ρ](x) = ∫ y K_κ(x−y) exp(−βV(y)) dρ(y) / ∫ K_κ(x−y) exp(−βV(y)) dy，其中 K_κ 为定位核函数。
• 在CBS中引入极化协方差，通过按参考粒子邻近度加权粒子位置，确保动力学不坍缩。
• 提出一种基于聚类的变体，使用预设数量的聚类中心计算加权均值，提升计算效率。
• 推导极化动力学的均场Fokker–Planck方程，并利用李雅普诺夫函数分析其收敛性。
• 通过基准函数（Himmelblau、Ackley）和多重模态分布的数值实验验证性能。

实验结果

研究问题

• RQ1 极化共识动力学能否在标准CBO失效的非凸优化问题中检测到多个全局最小值？
• RQ2 所提出的极化CBS方法在从多重模态高斯目标采样时是否无偏？
• RQ3 在零温度极限下，极化动力学是否在强凸目标下收敛至全局最小值处的狄拉克测度？
• RQ4 基于聚类的变体能否在保持多重模态检测能力的同时实现更高的计算效率？
• RQ5 与标准CBS相比，该方法在从非高斯、多重模态分布中采样时表现如何？

主要发现

• 当使用高斯核时，极化CBS方法在高斯目标下无偏，如命题2.1所证明。
• 在零温度极限下，对于足够良好的强凸目标，均场Fokker–Planck动力学在Wasserstein-2距离下收敛至全局最小值处的狄拉克测度（定理2.5）。
• 在30维的多重模态Ackley函数中，当κ = 0.01时，基于聚类的CBO在99%的运行中成功检测到≥3个最小值（J = 1600个粒子）。
• 在从两个相距较远的高斯分布采样时，极化CBS成功分离出两个模式，而标准CBS仅检测到较低的模式。
• 当两个模式较近时，极化方法仍能检测到至少一个模式（J = 400时成功率达98%），而标准CBS完全失败。
• 对于非高斯分布，极化CBS生成的样本更准确地逼近真实多重模态结构，且加权均值集中于高概率区域。