[论文解读] Toward Designing Convergent Deep Operator Splitting Methods for Task-specific Nonconvex Optimization

Risheng Liu, Shichao Cheng+3 more|arXiv (Cornell University)|Apr 28, 2018

Sparse and Compressive Sensing Techniques参考文献 5被引用 5

一句话总结

本文提出可学习Bregman分裂（LBS），一种将可学习神经网络整合到传统算子分裂方法中的深度算子分裂框架，用于特定任务的非凸优化。通过在基于Bregman距离的迭代方案中引入数据驱动更新，LBS确保了全局收敛性与更快的收敛速率，同时避免了平凡解，在图像去模糊和补全任务中优于最先进方法。

ABSTRACT

Operator splitting methods have been successfully used in computational sciences, statistics, learning and vision areas to reduce complex problems into a series of simpler subproblems. However, prevalent splitting schemes are mostly established only based on the mathematical properties of some general optimization models. So it is a laborious process and often requires many iterations of ideation and validation to obtain practical and task-specific optimal solutions, especially for nonconvex problems in real-world scenarios. To break through the above limits, we introduce a new algorithmic framework, called Learnable Bregman Splitting (LBS), to perform deep-architecture-based operator splitting for nonconvex optimization based on specific task model. Thanks to the data-dependent (i.e., learnable) nature, our LBS can not only speed up the convergence, but also avoid unwanted trivial solutions for real-world tasks. Though with inexact deep iterations, we can still establish the global convergence and estimate the asymptotic convergence rate of LBS only by enforcing some fairly loose assumptions. Extensive experiments on different applications (e.g., image completion and deblurring) verify our theoretical results and show the superiority of LBS against existing methods.

研究动机与目标

• 为解决传统算子分裂方法在非凸、现实世界优化任务中的局限性，这些任务中固定的更新规则无法避免鞍点或平凡解。
• 弥合理论上收敛的优化方案与缺乏收敛性保证的数据驱动深度学习方法之间的差距。
• 开发一种可学习的、任务特定的算子分裂框架，在保持理论收敛性的同时，通过深度架构适应数据模式。
• 通过结合基于模型和数据驱动的算子，实现图像恢复任务（如去模糊和补全）中更快的收敛速度和更优的解质量。

提出的方法

• LBS引入基于Bregman距离的松弛，以在每次迭代中惩罚变量，确保稳定性和收敛性。
• 采用松弛的Krasnoselskii-Mann迭代框架，统一基于模型和数据驱动组件的更新规则。
• 提出一种新型三算子分裂策略，将任务特定的正则化、数据依赖的深度网络和近端算子整合到单一优化循环中。
• 该方法允许非精确的深度迭代，同时在弱假设下仍能保证全局收敛。
• 通过将图像恢复问题重新表述为具有多个变量的块结构非凸优化问题，将该算法应用于图像恢复任务。
• 该框架支持使用真实数据进行端到端训练，使网络能够学习特定任务的最优迭代动态。

实验结果

研究问题

• RQ1 能否设计一种深度算子分裂框架，在非凸优化中保持全局收敛性的同时整合数据驱动学习？
• RQ2 如何在不损失理论收敛性保证的前提下，将可学习组件集成到经典算子分裂方案中？
• RQ3 所提出的方法能否在图像恢复任务的定量指标和定性结果上均优于现有基于学习的优化算法？
• RQ4 数据依赖学习对避免非凸问题中平凡或次优解的影响是什么？

主要发现

• 在Sun等人基准测试中，LBS实现了32.90的PSNR和0.90的SSIM，优于所有对比方法，包括IRCNN、FDN和PADNet。
• 在定性去模糊结果中，LBS在恢复文字和窗户边缘等精细细节方面优于其他方法，即使其他方法的PSNR更高。
• LBS中所有模块的迭代误差迅速下降，图像变量的重建误差降至log(10^-4)以下。
• 迭代曲线显示，所有模块的变量误差和重建误差均呈现稳定下降趋势，表明方法具有稳定收敛性。
• 尽管采用非精确的深度迭代，LBS仍保持全局收敛性，并在仅弱假设下提供了渐近收敛速率估计。
• 得益于其数据依赖学习机制，LBS在图像补全和去模糊任务中成功避免了不希望的平凡解。