[论文解读] Unifying abstract inexact convergence theorems for descent methods and block coordinate variable metric iPiano

Peter Ochs|arXiv (Cornell University)|Feb 23, 2016

Sparse and Compressive Sensing Techniques参考文献 10被引用 4

一句话总结

本文提出了一种统一的抽象收敛定理，适用于考虑相对误差的下降方法，扩展至满足Kurdyka–Łojasiewicz不等式的非光滑、非凸函数。该定理建立了对iPiano算法的一种块坐标、变度量变体的收敛性，其在Mumford–Shah类正则化下的图像修复问题中表现出有效性。

ABSTRACT

An abstract convergence theorem for a class of descent method that explicitly models relative errors is proved. The convergence theorem generalizes and unifies several recent abstract convergence theorems, and is applicable to possibly non-smooth and non-convex lower semi-continuous functions that satisfy the Kurdyka--{\L}ojasiewicz inequality, which comprises a huge class of problems. The descent property is measured with respect to a function that is allowed to change along the iterations, which makes block coordinate and variable metric methods amenable to the abstract convergence theorem. As a particularly algorithm, the convergence of a block coordinate variable metric version of iPiano (an inertial forward--backward splitting algorithm) is proved. The newly introduced algorithms perform favorable on an inpainting problem with a Mumford--Shah-like regularization from image processing.

研究动机与目标

• 将近期关于带相对误差建模的不精确下降方法的抽象收敛定理统一于一个框架之下。
• 将收敛性保证扩展至满足Kurdyka–Łojasiewicz不等式的非光滑和非凸下半连续函数。
• 在收敛性分析中容纳可变的下降函数和块坐标更新。
• 为一种新型的块坐标、变度量iPiano算法建立收敛性。
• 在具有Mumford–Shah类正则化的具有挑战性的图像修复问题上，展示所提方法的实际有效性。

提出的方法

• 开发一种抽象收敛定理，建模下降步骤中的相对误差，允许在迭代过程中使用可变的下降函数。
• 提出一种框架，其中下降函数可在每次迭代中改变，从而适用于块坐标和变度量方法。
• 将该抽象定理应用于iPiano的块坐标、变度量扩展，即一种惯性前向-后向分裂算法。
• 将Kurdyka–Łojasiewicz不等式作为关键结构假设，以确保对广泛类别的非凸函数实现收敛。
• 采用带有自适应度量选择和块更新的惯性前向-后向分裂方案，以增强收敛行为。
• 在Mumford–Shah类图像修复问题上验证该算法，以展示其实际性能。

实验结果

研究问题

• RQ1 一个单一的抽象收敛定理能否统一现有关于带相对误差建模的不精确下降方法的结果？
• RQ2 该收敛框架在多大程度上可扩展至满足Kurdyka–Łojasiewicz不等式的非光滑和非凸函数？
• RQ3 该框架能否以合理方式容纳可变的下降函数和块坐标更新？
• RQ4 所提出的块坐标、变度量iPiano变体是否在该抽象定理下收敛？
• RQ5 所提算法在如具有复杂正则化的图像修复等实际问题上的表现如何？

主要发现

• 该抽象收敛定理推广并统一了近期多个关于不精确下降方法的收敛结果。
• 在Kurdyka–Łojasiewicz不等式条件下，已建立对非光滑和非凸函数的收敛性，该条件广泛适用且具有强普适性。
• 该框架支持可变的下降函数，使其适用于块坐标和变度量方法。
• 所提出的块坐标、变度量iPiano变体在所提抽象框架下被证明收敛。
• 该算法在Mumford–Shah类正则化下的图像修复任务中表现出良好性能，显示出实际相关性。
• 该理论框架使得对非凸优化中惯性和自适应度量策略的系统性分析成为可能。