[论文解读] Optimization Methods for Inverse Problems

Nan Ye, Farbod Roosta-Khorasani+1 more|arXiv (Cornell University)|Dec 1, 2017

Sparse and Compressive Sensing Techniques被引用 6

一句话总结

本综述将机器学习与反问题中的优化技术相连接，展示了先进方法——尤其是二阶优化与随机优化——如何提升大规模、非凸、病态反问题的求解效果。它强调了基于海森矩阵的方法相较于一阶方法在鲁棒性与减少超参数调优方面的优势。

ABSTRACT

Optimization plays an important role in solving many inverse problems. Indeed, the task of inversion often either involves or is fully cast as a solution of an optimization problem. In this light, the mere non-linear, non-convex, and large-scale nature of many of these inversions gives rise to some very challenging optimization problems. The inverse problem community has long been developing various techniques for solving such optimization tasks. However, other, seemingly disjoint communities, such as that of machine learning, have developed, almost in parallel, interesting alternative methods which might have stayed under the radar of the inverse problem community. In this survey, we aim to change that. In doing so, we first discuss current state-of-the-art optimization methods widely used in inverse problems. We then survey recent related advances in addressing similar challenges in problems faced by the machine learning community, and discuss their potential advantages for solving inverse problems. By highlighting the similarities among the optimization challenges faced by the inverse problem and the machine learning communities, we hope that this survey can serve as a bridge in bringing together these two communities and encourage cross fertilization of ideas.

研究动机与目标

• 识别并解决反问题中的关键优化挑战，包括非凸性、病态性以及大规模数据问题。
• 通过突出双方共有的优化挑战，弥合反问题与机器学习领域之间的差距。
• 展示机器学习中现代优化技术——尤其是随机与二阶方法——在改善反问题求解方面的潜力。
• 倡导两个领域间的思想互哺，以加速解决复杂反问题的进程。

提出的方法

• 将反问题形式化为数据拟合优化任务，目标是最小化结合数据保真度与正则化的不适配函数。
• 回顾经典与现代优化方法，包括高斯-牛顿法、信赖域法以及随机牛顿型方法，用于非凸、大规模问题。
• 强调使用随机海森矩阵近似以降低大规模问题中的计算成本，尤其在有限和设置中。
• 提出随机信赖域与立方正则化方法用于非凸问题，即使在病态条件下也能实现鲁棒收敛。
• 提出弗兰克-沃尔夫方法以高效处理单纯形约束，为反问题中的盒约束提供替代方案。
• 分析一阶与二阶方法之间的计算权衡，突出后者在病态性下的鲁棒性及更少的调参需求。

实验结果

研究问题

• RQ1 二阶优化方法在病态环境下如何提升反问题求解器的鲁棒性与收敛性？
• RQ2 在大规模反问题中，随机海森矩阵近似在不牺牲收敛性的情况下，能在多大程度上降低计算成本？
• RQ3 反问题与机器学习在优化挑战上的关键差异是什么？解决方案如何在两个领域间共享？
• RQ4 现代随机优化技术如何帮助在非凸反问题中逃离局部极小值？
• RQ5 弗兰克-沃尔夫等约束优化方法在何种方式下可增强具有单纯形约束的反问题求解？

主要发现

• 如高斯-牛顿法与信赖域算法等二阶方法在应对病态性方面显著优于一阶方法，后者在这些环境下常无法取得进展。
• 随机海森矩阵近似通过降低每次迭代的计算成本，使大规模问题中的二阶优化可扩展，同时保持收敛性保证。
• 随机信赖域与立方正则化方法在非凸优化中展现出前景，可在病态与噪声环境中实现更优的收敛行为。
• 一阶方法需要大量超参数调优——尤其是步长选择——而二阶方法对调优更不敏感，所需调整更少。
• 弗兰克-沃尔夫方法为具有单纯形约束的问题提供了高效替代方案，在某些反问题公式中优于盒约束方法。
• 将机器学习启发的优化技术整合到反问题中，可显著提升可扩展性、鲁棒性与收敛性，尤其在非凸与大规模场景下。