[论文解读] Sparsest Continuous Piecewise-Linear Representation of Data

Thomas Debarre, Quentin Denoyelle+2 more|arXiv (Cornell University)|Mar 23, 2020

Advanced Numerical Analysis Techniques参考文献 93被引用 6

一句话总结

本文提出一种两步算法，通过在二阶导数上使用总变差正则化，寻找一维数据的最稀疏连续分段线性表示。它证明了在约束优化框架下，精确插值问题与惩罚插值问题均能产生最稀疏解，从而可高效识别出最小节点数的分段线性拟合。

ABSTRACT

We study the problem of interpolating one-dimensional data with total variation regularization on the second derivative, which is known to promote piecewise-linear solutions with few knots. In a first scenario, we consider the problem of exact interpolation. We thoroughly describe the form of the solutions of the underlying constrained optimization problem, including the sparsest piecewise-linear solutions, i.e., with the minimum number of knots. Next, we relax the exact interpolation requirement, and consider a penalized optimization problem with a strictly convex data-fidelity cost function. We show that the underlying penalized problem can be reformulated as a constrained problem, and thus that all our previous results still apply. We propose a simple and fast two-step algorithm to reach a sparsest solution of this constrained problem.

研究动机与目标

• 表征一维数据插值中，最稀疏连续分段线性解的结构。
• 分析由二阶导数总变差正则化引发的约束优化问题。
• 将精确插值结果扩展至具有严格凸数据保真项的惩罚问题。
• 开发一种简单且快速的算法，实现最稀疏的分段线性拟合。

提出的方法

• 将插值问题表述为在二阶导数上使用总变差正则化的约束优化任务。
• 证明最优解具有最少的节点数，对应于最稀疏的分段线性表示。
• 将具有严格凸数据保真项的惩罚问题重新表述为等价的约束问题。
• 提出一种两步算法：首先求解约束问题，然后进行稀疏性优化。
• 利用惩罚形式与约束形式之间的等价性，保留解的结构特性。
• 利用变分分析，表征最优解中节点位置与分段线性段的结构。

实验结果

研究问题

• RQ1 能够插值给定一维数据的最稀疏连续分段线性函数具有何种结构？
• RQ2 在二阶导数上使用总变差正则化如何在节点数量上实现稀疏性？
• RQ3 是否可以将具有严格凸数据保真项的惩罚问题重新表述为约束问题，以保持稀疏性保证？
• RQ4 何种算法方法可在实际中高效计算出最稀疏解？

主要发现

• 在精确插值约束下，最稀疏的分段线性解对应于二阶导数总变差的最小化器。
• 具有严格凸数据保真项的惩罚问题可被重新表述为等价的约束问题，且保持相同的解结构。
• 提出了一种两步算法，通过利用与约束形式的等价性，高效计算出最稀疏解。
• 该方法保证了分段线性表示中节点数最少，确保了最优稀疏性。