[论文解读] Proximal Averages for Minimization of Entropy Functionals

Heinz H. Bauschke, Scott B. Lindstrom|arXiv (Cornell University)|Jul 24, 2018

Statistical Mechanics and Entropy参考文献 7被引用 4

一句话总结

本文提出近端平均作为最小化熵泛函时加权平均的更优替代方案，利用Lambert W函数推导出闭式解。结果表明，近端平均可实现真正的同伦方法，具备灵活的障碍物施加能力，显著提升了线性约束下熵最小化的视觉效果与计算拟合度。

ABSTRACT

In their 2016 article `Meetings with Lambert $\mathcal{W}$ and Other Special Functions in Optimization and Analysis', Borwein and Lindstrom considered the minimization of an entropy functional utilizing the weighted average of the negative Boltzmann--Shannon entropy $x\mapsto x\log x -x$ and the energy $x \mapsto x^2/2$; the solution employed the Fenchel-Moreau conjugate of the sum. However, in place of a traditional arithmetic average of two convex functions, it is also, perhaps even more, natural to use their proximal average. We explain the advantages and illustrate them by computing the analogous proximal averages for the negative entropy and energy. We use the proximal averages to solve entropy functional minimization problems similar to those considered by Borwein and Lindstrom, illustrating the benefits of using a true homotopy. Through experimentation, we discover computational barriers to obtaining solutions when computing with proximal averages, and we demonstrate a method which appears to remedy them.

研究动机与目标

• 用近端平均替代熵泛函最小化中的加权平均，以改善同伦行为。
• 利用符号计算工具（如Maple的SCAT）推导熵函数与能量函数近端平均的闭式表达式。
• 分析使用近端平均时产生的计算挑战，特别是当λ → 0时惩罚项变得极端的问题。
• 证明直接求解对偶问题可比基于同伦的子问题迭代获得更快的收敛速度。
• 探讨近端平均在凸优化中的理论与计算优势，尤其在上极限连续性与障碍物施加方面的表现。

提出的方法

• 使用近端平均构造在负Boltzmann–Shannon熵与二次能量函数之间进行插值。
• 应用Fenchel-Moreau共轭与对偶理论，推导涉及Lambert W函数的闭式表达式。
• 采用符号凸分析工具（Maple中的SCAT）计算并验证特定参数下的近端平均形式。
• 通过在λ ∈ [0,1]范围内变化参数，实现同伦方法，连续追踪原始解。
• 使用牛顿法与梯度下降直接求解对偶问题，以提升收敛速度。
• 利用恒等式 $ \mathcal{W}(y)e^{\mathcal{W}(y)} = y $ 及其导数，简化并求导近端平均表达式。

实验结果

研究问题

• RQ1 近端平均在最小化熵泛函时与加权平均相比如何，特别是在障碍物施加与解灵活性方面？
• RQ2 能否利用Lambert W函数推导出Boltzmann–Shannon熵与二次能量函数近端平均的闭式表达式？
• RQ3 使用近端平均时会产生哪些计算挑战，特别是在λ → 0时，如何缓解这些问题？
• RQ4 与原始同伦路径相比，能否更高效地求解对偶问题？收敛性有何改进？
• RQ5 近端平均框架如何支持上极限连续性，并在λ ∈ [0,1]范围内实现原始解的连续变换？

主要发现

• 近端平均在熵函数与能量函数之间实现了真正的同伦，支持灵活的障碍物施加，这是加权平均无法实现的。
• 当λ = 1时，直接求解对偶问题，经2100次梯度下降迭代后，约束违反值为1.66 × 10⁻³。
• 直接求解对偶问题时，λ = 1的误差在2100次迭代后降至1.77 × 10⁻⁶，表明收敛速度显著快于同伦方法。
• 同伦方法收敛较慢，尤其在λ接近0时，因对负值的惩罚项变得越来越陡峭。
• Lambert W函数的使用使得近端平均形式的符号推导成为可能，这对理论分析与计算实现至关重要。
• 近端平均框架支持上极限连续性，视觉上清晰展示了λ ∈ [0,1]范围内原始解的连续变换。