[论文解读] Recursive Decomposition for Nonconvex Optimization

Abram L. Friesen, Pedro Domingos|arXiv (Cornell University)|Nov 8, 2016

Topological and Geometric Data Analysis参考文献 27被引用 27

一句话总结

本文提出RDIS，一种用于非凸优化的递归分解算法，通过迭代地设定变量，将目标函数分解为近似独立的子问题，从而利用局部组合结构。结合图划分进行变量选择与使用梯度下降的递归优化，RDIS在梯度下降随机重启方法上实现了指数级加速，并在蛋白质折叠和多峰测试函数上优于标准方法。

ABSTRACT

Continuous optimization is an important problem in many areas of AI, including vision, robotics, probabilistic inference, and machine learning. Unfortunately, most real-world optimization problems are nonconvex, causing standard convex techniques to find only local optima, even with extensions like random restarts and simulated annealing. We observe that, in many cases, the local modes of the objective function have combinatorial structure, and thus ideas from combinatorial optimization can be brought to bear. Based on this, we propose a problem-decomposition approach to nonconvex optimization. Similarly to DPLL-style SAT solvers and recursive conditioning in probabilistic inference, our algorithm, RDIS, recursively sets variables so as to simplify and decompose the objective function into approximately independent sub-functions, until the remaining functions are simple enough to be optimized by standard techniques like gradient descent. The variables to set are chosen by graph partitioning, ensuring decomposition whenever possible. We show analytically that RDIS can solve a broad class of nonconvex optimization problems exponentially faster than gradient descent with random restarts. Experimentally, RDIS outperforms standard techniques on problems like structure from motion and protein folding.

研究动机与目标

• 为解决人工智能中非凸优化的挑战，标准凸优化技术因局部极小值呈指数级增长而失效。
• 利用非凸函数局部模式中的组合结构，这些结构是标准连续优化器无法利用的。
• 开发一种可扩展的、递归的分解框架，动态地将非凸问题简化为近似独立的子问题。
• 在具有显著局部结构的困难非凸问题上，超越传统方法（如带随机重启的梯度下降和块坐标下降）。
• 通过利用局部可分解性，在蛋白质折叠和运动结构重建等领域的高效全局优化成为可能。

提出的方法

• RDIS通过图划分选择变量，递归地分解非凸目标函数，以最大化分解潜力。
• 基于图划分启发式方法设定变量，确保剩余函数可分解为近似独立的子函数。
• 在变量固定后，使用标准连续优化器（如梯度下降）递归优化每个子问题。
• 该方法将连续优化嵌入问题分解框架中，类似于SMT求解器，但用于优化而非决策问题。
• 在递归子问题内部使用重启机制，以逃逸局部极小值，增强全局搜索能力。
• 平滑参数ε控制简化程度，平衡搜索空间中的探索与利用。

实验结果

研究问题

• RQ1 能否通过将非凸函数递归分解为近似独立的子问题，实现在全局优化中的指数级加速？
• RQ2 如何有效将连续优化集成到专为离散组合问题设计的递归分解框架中？
• RQ3 非凸函数中的局部结构（如蛋白质折叠或多峰函数）在多大程度上能实现对全局最优解的更快收敛？
• RQ4 变量选择与分解策略的选择如何影响真实世界非凸问题上的性能表现？
• RQ5 带有内部重启的递归分解是否能超越标准非凸优化技术（如带重启的梯度下降）？

主要发现

• RDIS在一大类非凸问题上相对于带随机重启的梯度下降实现了指数级加速，分析结果已验证。
• 在高维正弦测试函数上，由于嵌套重启机制支持有效的子空间探索，RDIS优于所有基线方法，包括RDIS-NRR。
• 在蛋白质折叠任务中，RDIS在全部21个测试蛋白质上显著优于CGD和BCD-CGD，性能差距通常较大，且ε = 1.0与ε = 2.0均取得优异结果。
• 在RDIS-NRR中提高平滑参数ε可减少总耗时，并在初期提升找到的最低能量值，表明通过增强简化程度可更有效地避免次要局部极小值。
• 完整版RDIS算法（结合递归分解与内部重启）在某些情况下无需顶层重启即可找到全局最小值，轨迹分析已证实此现象。
• RDIS-NRR在多次运行中表现出一致的性能提升，方差减小且收敛性改善，证实了递归分解策略的鲁棒性。