[论文解读] Projections Onto Convex Sets (POCS) Based Optimization by Lifting

Ahmet Enis Çetin, Alican Bozkurt+5 more|arXiv (Cornell University)|Jun 11, 2013

Sparse and Compressive Sensing Techniques参考文献 21被引用 5

一句话总结

该论文提出了一种基于POCS的新型优化框架，通过将凸优化和某些非凸优化问题的维度提升一维，将代价函数转化为R^{N+1}中的凸集。通过在该提升集合与水平集之间交替进行投影，该方法实现了对总变差、l1、熵函数以及滤波变差函数的全局最优解，且在l_p（p<1）函数上通过支撑超平面也取得了实验成功。

ABSTRACT

Two new optimization techniques based on projections onto convex space (POCS) framework for solving convex and some non-convex optimization problems are presented. The dimension of the minimization problem is lifted by one and sets corresponding to the cost function are defined. If the cost function is a convex function in R^N the corresponding set is a convex set in R^(N+1). The iterative optimization approach starts with an arbitrary initial estimate in R^(N+1) and an orthogonal projection is performed onto one of the sets in a sequential manner at each step of the optimization problem. The method provides globally optimal solutions in total-variation, filtered variation, l1, and entropic cost functions. It is also experimentally observed that cost functions based on lp, p&lt;1 can be handled by using the supporting hyperplane concept.

研究动机与目标

• 开发一种维度提升的POCS框架，以实现对凸与非凸代价函数的全局优化。
• 通过用投影到提升凸集上的正交投影替代Bregman D-投影，克服Bregman D-投影的计算复杂性。
• 通过支撑超平面近似，将POCS的适用性扩展到非凸函数（如l_p，p<1）。
• 为现有逆信号与图像处理中的迭代优化方法提供一种计算高效的替代方案。

提出的方法

• 通过定义集合C_f = { [w^T y]^T | y ≥ f(w) }，将原始的N维优化问题提升至R^{N+1}，若f(w)为凸函数，则该集合为凸集。
• 在R^{N+1}中定义水平集C_s = { [w^T y]^T | y ≤ α }，其中α为常数，形成第二个凸集。
• 从R^{N+1}中任选初始点，通过在C_f与C_s之间交替进行正交投影，实现对全局最小值的收敛。
• 对于非凸的l_p（p<1）函数，使用当前迭代点处的支撑超平面来近似代价函数曲面，并执行投影。
• 通过迭代应用该方法，先将迭代点投影到C_s，再投影到C_f在当前点处的支撑超平面。
• 通过将投影序列扩展至包含约束集的方式，整合额外的凸约束，采用集合扩展或修改投影规则的策略，以处理非相交集合的情况。

实验结果

研究问题

• RQ1 能否通过提升问题维度并使用投影到提升凸集上的正交投影，将POCS框架适配于求解凸优化问题？
• RQ2 尽管存在非凸性，如何通过基于POCS的方法最小化非凸l_p（p<1）函数？
• RQ3 支撑超平面在近似非凸代价函数并实现向全局最小值收敛的过程中起到何种作用？
• RQ4 当多个凸约束的交集为空集或非平凡时，该方法如何扩展以处理此类情况？
• RQ5 能否使用广义支撑超平面，通过连续正交投影实现对具有多个局部最小值的非凸函数的最小化？

主要发现

• 通过将问题提升至R^{N+1}并执行交替正交投影，该方法实现了对总变差、滤波变差、l1和熵函数等凸代价函数的全局最优解。
• 对于l_p（p<1）函数，该方法即使在代价函数非凸的情况下，仍通过在支撑超平面上的迭代投影成功收敛至全局最小值。
• 投影到支撑超平面的计算效率高，无需求解非线性方程，使该方法在实际应用中具有可行性。
• 当存在多个凸约束且其交集为空时，该方法仍能收敛至包含最优解的极限环，表明其对非相交集合具有鲁棒性。
• 该方法避免了计算Bregman D-投影，为Bregman原始框架提供了一种计算更简单的替代方案。
• 实验验证表明，该方法可通过切线和平面支撑超平面处理非凸函数f(w) = |w−2|^{0.5}+1，成功收敛至全局最小值。