[论文解读] On the Convergence of Learning-based Iterative Methods for Nonconvex Inverse Problems

Risheng Liu, Shichao Cheng+4 more|arXiv (Cornell University)|Aug 16, 2018

Sparse and Compressive Sensing Techniques参考文献 36被引用 3

一句话总结

本文提出柔性迭代模块化算法（FIMA），一种用于非凸反问题学习型迭代方法的可证明全局收敛框架。通过将可学习模块与在Kurdyka-Łojasiewicz（KŁ）性质下的理论收敛保证相结合，FIMA 确保收敛至临界点，同时实现数据自适应优化，在真实世界应用中优于经典方法和基于深度学习的方法。

ABSTRACT

Numerous tasks at the core of statistics, learning and vision areas are specific cases of ill-posed inverse problems. Recently, learning-based (e.g., deep) iterative methods have been empirically shown to be useful for these problems. Nevertheless, integrating learnable structures into iterations is still a laborious process, which can only be guided by intuitions or empirical insights. Moreover, there is a lack of rigorous analysis about the convergence behaviors of these reimplemented iterations, and thus the significance of such methods is a little bit vague. This paper moves beyond these limits and proposes Flexible Iterative Modularization Algorithm (FIMA), a generic and provable paradigm for nonconvex inverse problems. Our theoretical analysis reveals that FIMA allows us to generate globally convergent trajectories for learning-based iterative methods. Meanwhile, the devised scheduling policies on flexible modules should also be beneficial for classical numerical methods in the nonconvex scenario. Extensive experiments on real applications verify the superiority of FIMA.

研究动机与目标

• 解决学习型迭代方法在非凸反问题中缺乏理论收敛保证的问题。
• 克服经典求解器中固定、手工设计的更新规则无法利用数据特定结构的局限性。
• 开发一种通用的、模块化的框架，允许使用可学习组件，同时保持全局收敛性。
• 为包含光滑与非光滑项的非凸设置下迭代方法的收敛性提供统一的理论分析。
• 在视觉与学习中的真实世界反问题上，展示所提方法的实用优越性。

提出的方法

• 提出 FIMA，一种灵活的迭代模块化框架，将优化问题分解为一系列可学习的子问题。
• 引入模块化组件的调度策略，确保在 Kurdyka-Łojasiewicz（KŁ）条件下的收敛性。
• 采用块迭代更新策略，按顺序更新每个变量，使用类似邻近的步骤，并引入可学习参数。
• 通过分析目标函数的下降性，证明迭代序列为柯西序列，从而获得收敛性保证。
• 利用 KŁ 性质建立收敛速率，并证明序列全局收敛至临界点。
• 将该框架应用于非凸问题，其中数据保真项 f 和先验项 g 均可能非凸，且 f 连续可微，g 非光滑。

实验结果

研究问题

• RQ1 能否设计一种具有可证明全局收敛性的学习型迭代方法，用于非凸反问题？
• RQ2 如何在不牺牲理论收敛保证的前提下，将可学习模块整合进迭代求解器？
• RQ3 在非凸设置下，何种理论条件可确保此类混合学习-优化方案的收敛性？
• RQ4 与经典方法或端到端深度学习方法相比，所提框架能否在真实世界反问题中提升性能？
• RQ5 在 Kurdyka-Łojasiewicz（KŁ）性质下，所提方法的收敛速率可建立为何种形式？

主要发现

• 在 Kurdyka-Łojasiewicz（KŁ）性质下，FIMA 确保迭代序列全局收敛至目标函数的临界点。
• FIMA 生成的迭代序列为柯西序列，意味着收敛至驻点。
• 该方法在相同 KŁ 假设下，建立了与经典邻近方案相匹配的收敛速率。
• 实验结果表明，FIMA 在真实反问题上优于经典迭代求解器和端到端深度学习基线方法。
• 即使 f 和 g 均为非凸，只要 f 连续可微且 g 非光滑，该收敛性分析依然成立。
• 该框架支持灵活、数据自适应的模块调度，性能优于固定结构的求解器。