[论文解读] Relative Interior Rule in Block-Coordinate Minimization

Tomáš Werner, Daniel Průša|arXiv (Cornell University)|Oct 21, 2019

Advanced Numerical Analysis Techniques参考文献 10被引用 4

一句话总结

本文提出了块坐标最小化中的相对内部规则，确保在每次迭代中，从当前块最优解集的相对内部选择最小化器。主要贡献在于证明了遵循此规则的方法不会劣于任何其他块坐标方法：它们要么保持，要么改善收敛行为，避免在次优点处停滞，并在弱条件下保证收敛至内部局部最小值。

ABSTRACT

(Block-)coordinate minimization is an iterative optimization method which in every iteration finds a global minimum of the objective over a variable or a subset of variables, while keeping the remaining variables constant. While for some problems, coordinate minimization converges to a global minimum (e.g., convex differentiable objective), for general (non-differentiable) convex problems this may not be the case. Despite this drawback, (block-)coordinate minimization can be an acceptable option for large-scale non-differentiable convex problems; an example is methods to solve the linear programming relaxation of the discrete energy minimization problem (MAP inference in graphical models). When block-coordinate minimization is applied to a general convex problem, in every iteration the minimizer over the current coordinate block need not be unique and therefore a single minimizer must be chosen. We propose that this minimizer be chosen from the relative interior of the set of all minimizers over the current block. We show that this rule is not worse, in a certain precise sense, than any other rule.

研究动机与目标

• 解决由于坐标块上最小化器不唯一而导致的块坐标最小化方法的不稳定性和次优收敛问题。
• 形式化一种有原则的最小化器选择规则，以提升收敛质量和鲁棒性。
• 证明从最优解集的相对内部选择最小化器可确保优于或等同于任意最小化器选择的性能。
• 建立理论保证，表明此类方法可避免陷入较差的局部极小值，并收敛至更高质量的解。

提出的方法

• 引入内部局部极小值的概念，定义为：在每个块上，最小化器位于最优解集的相对内部的点。
• 将标准的块坐标最小化（选择任意最小化器）替换为始终从最小化器集的相对内部选择的规则。
• 使用目标函数的上图表示，并将搜索空间提升以包含函数值，从而通过凸几何进行分析。
• 将预内部局部极小值定义为：在有限步内，通过相对内部规则可达到内部局部极小值的点。
• 通过更新公式应用相对内部规则：$ x_{n+1} riangleq ext{ri}(M(X igcap (x_n + I_n), f)) $，确保鲁棒性并收敛至更优解。
• 证明在提升子空间 $ \bar{I} = I \times \mathbb{R} $ 下，原始空间中的局部极小值与上图空间中的局部极小值等价。

实验结果

研究问题

• RQ1 是否有原则的最小化器选择规则可改善块坐标最小化中的收敛质量并避免较差的局部极小值？
• RQ2 从最优解集的相对内部选择最小化器是否可实现优于或至少不劣于任意选择的收敛行为？
• RQ3 在相对内部规则下，预内部局部极小值与内部局部极小值之间有何关系？
• RQ4 与标准块坐标方法相比，相对内部规则在收敛性和目标值改进方面表现如何？

主要发现

• 由相对内部规则生成的任意序列均保持或改善目标值；若初始点为预内部局部极小值，则方法在有限步内达到内部局部极小值。
• 若初始点不是预内部局部极小值，则在有限步后目标值严格减小，确保了进展。
• 相对内部规则保证：一旦达到内部局部极小值，该状态将在所有后续迭代中保持不变。
• 该方法不会劣于任何其他块坐标最小化方法：其性能要么保持，要么优于通过任意最小化器选择所能达到的最佳结果。
• 上图重构保留了局部极小值的结构，且相对内部规则恰好对应于在上图最小化器集的相对内部选择点。
• 最大和扩散（max-sum diffusion）满足相对内部规则，且所提方法推广并解释了其有利的实验性能。