[论文解读] Penalty Dual Decomposition Method For Nonsmooth Nonconvex Optimization

Qingjiang Shi, Mingyi Hong+2 more|arXiv (Cornell University)|Dec 13, 2017

Sparse and Compressive Sensing Techniques参考文献 49被引用 43

一句话总结

本文提出惩罚对偶分解（PDD）方法，一种用于具有非线性耦合约束的非光滑非凸优化的双循环算法。它在内层子问题中结合块坐标下降法，在外层循环中更新对偶变量和惩罚参数，证明在温和条件下可收敛至KKT点，从而高效求解具有挑战性的信号处理与无线通信问题。

ABSTRACT

Many contemporary signal processing, machine learning and wireless communication applications can be formulated as nonconvex nonsmooth optimization problems. Often there is a lack of efficient algorithms for these problems, especially when the optimization variables are nonlinearly coupled in some nonconvex constraints. In this work, we propose an algorithm named penalty dual decomposition (PDD) for these difficult problems and discuss its various applications. The PDD is a double-loop iterative algorithm. Its inner iterations is used to inexactly solve a nonconvex nonsmooth augmented Lagrangian problem via block-coordinate-descenttype methods, while its outer iteration updates the dual variables and/or a penalty parameter. In Part I of this work, we describe the PDD algorithm and rigorously establish its convergence to KKT solutions. In Part II we evaluate the performance of PDD by customizing it to three applications arising from signal processing and wireless communications.

研究动机与目标

• 解决在约束中存在非线性耦合变量的非凸非光滑优化问题缺乏高效算法的问题。
• 开发一种可扩展且收敛的算法框架，充分利用多块、非凸、非光滑优化问题的结构特性。
• 克服现有方法（如交替优化AO和惩罚法）缺乏收敛保证或存在病态条件的问题。
• 为具有连续可微耦合约束的非凸问题建立理论收敛至KKT点的保证。
• 提供一个统一的算法框架，适用于具有复杂耦合约束的多样化信号处理与无线通信应用。

提出的方法

• 提出一种双循环惩罚对偶分解（PDD）算法：内层循环通过块坐标下降法求解增广拉格朗日子问题；外层循环更新对偶变量与惩罚参数。
• 采用增广拉格朗日公式化方法处理非凸约束，结合惩罚项与对偶上升法，以提升收敛性与稳定性。
• 在内层循环中采用类似块坐标下降的方法，近似求解非凸、非光滑子问题，实现低复杂度且可并行化的更新。
• 提出一种惩罚参数更新策略，确保收敛性，而无需惩罚参数趋于无穷大，从而避免病态条件问题。
• 利用一阶近似验证数学规划互补约束条件（MFCQ），以支持KKT收敛性分析。
• 在较弱假设下建立收敛至KKT点的理论保证，包括在可行点处满足MFCQ，即使对非凸与非光滑问题亦成立。

实验结果

研究问题

• RQ1 基于分解的方法能否实现对具有非线性耦合约束的非凸、非光滑优化问题收敛至KKT点？
• RQ2 如何改进惩罚法以避免病态条件，并在无需惩罚参数趋于无穷大的前提下确保收敛？
• RQ3 块坐标下降与对偶分解在多大程度上可结合用于求解信号处理与无线通信中的复杂、非凸、非光滑问题？
• RQ4 所提出的PDD算法在何种条件下收敛至KKT解，这些条件在实际中如何验证？
• RQ5 PDD框架能否应用于实际问题，如MIMO中继波束成形与SINR约束下的功率最小化问题？

主要发现

• 证明PDD算法可收敛至具有连续可微耦合约束的非凸非光滑优化问题的KKT点。
• 该方法在不需惩罚参数趋于无穷大的前提下实现收敛，避免了经典惩罚法中常见的病态条件问题。
• 在三个关键应用中验证了MFCQ条件：波束成形设计（问题5）、MIMO中继波束成形（问题11）与矩阵分解（问题31），确保收敛有效性的成立。
• 对于问题（5），由于等式约束梯度的线性无关性及可行下降方向的存在，MFCQ在任意可行点处成立。
• 对于问题（11），在任意非零可行点（V ≠ 0 且 F ≠ 0 或 X ≠ 0）处，MFCQ成立，通过显式构造下降方向得以验证。
• 对于问题（31），通过基于矩阵结构构造的下降方向，MFCQ在任意可行点处成立，验证过程基于一阶近似与可行性约束。