[论文解读] Synthesis and analysis in total variation regularization

Francesco Ortelli, Sara van de Geer|arXiv (Cornell University)|Jan 18, 2019

Sparse and Compressive Sensing Techniques参考文献 13被引用 10

一句话总结

本文将总变差正则化中分析与重构估计器之间的桥梁推广至秩亏缺陷情形，提出了一套框架，用于推导一般图上一阶总变差估计器的等价重构形式。通过引入线图的离散图微分算子，并构建k阶总变差的显式字典，实现了基于重构表示的理论分析与可视化。

ABSTRACT

We generalize the bridge between analysis and synthesis estimators by Elad, Milanfar and Rubinstein (2007) to rank deficient cases. This is a starting point for the study of the connection between analysis and synthesis for total variation regularized estimators. In particular, the case of first order total variation regularized estimators over general graphs and their synthesis form are studied. We give a definition of the discrete graph derivative operator based on the notion of line graph and provide examples of the synthesis form of $k^{ ext{th}}$ order total variation regularized estimators over a range of graphs.

研究动机与目标

• 将Elad等人（2007年）提出的分析-重构对偶性从满秩情形推广至总变差正则化中的秩亏缺陷情形。
• 建立一个通用框架，用于推导在任意图上与基于分析的总变差估计器等价的重构估计器。
• 利用线图概念定义k阶离散图微分算子。
• 构建显式字典，使一阶及更高阶总变差正则化在各种图结构上均能实现重构形式。
• 通过重构形式促进总变差估计器的理论分析与可视化。

提出的方法

• 通过图微分矩阵的Moore-Penrose广义逆，推导出将分析形式总变差估计器转换为重构形式的一般方法。
• 将一阶离散图微分算子 $ D^1_{ ext{G}} $ 定义为有向图的关联矩阵，用于捕捉信号在边上的差异。
• 通过原图的线图将离散微分推广至更高阶 $ k $，使 $ D^k_{ ext{G}} $ 能够表示k阶差分。
• 将重构字典 $ oldsymbol{X} $ 构造为从微分算子导出的矩阵 $ B $ 的逆，确保重构估计器与分析估计器一致。
• 利用对称性与变量替换，推导出字典原子的闭式表达式，特别针对路径图、环图及分支图上的 $ k=1,2,3 $ 情形。
• 通过路径图、环图及带分支图的显式示例验证构造过程，表明重构形式能精确恢复分析估计器。

实验结果

研究问题

• RQ1 能否为一般图上的一阶总变差正则化估计器推导出重构形式？
• RQ2 如何为高阶总变差估计器（$ k \geq 2 $）构建重构表示？
• RQ3 线图在定义图上高阶离散微分中的作用是什么？
• RQ4 重构形式如何提升总变差估计器的可解释性与理论分析能力？
• RQ5 在不同图拓扑结构上，k^\text{th} $-阶总变差的重构形式中字典原子的结构是怎样的？

主要发现

• 建立了一种通用方法，即使在秩亏缺陷情形下，也能将分析形式的总变差估计器转换为等价的重构形式。
• 通过原图的线图定义了k阶离散图微分算子，实现了高阶差分计算的一致性。
• 对于大小为 $ n $ 的路径图，$ k=1 $ 时的重构字典包含 $ n-1 $ 个原子，而 $ k=3 $ 时字典中的原子数量为 $ \frac{n(n-1)}{2} $。
• 在8个节点的路径图上，$ k=3 $ 的重构形式被显式构造，其逆矩阵 $ B^{-1} $ 的最后 $ n-1 $ 列构成了字典原子。
• 构造过程揭示了字典原子的对称性：$ v_{j'} = -T^{n-j} v_j $，表明原子在图中心位置具有反射对称性。
• 该方法在重构形式中成功恢复了分析估计器，通过理论推导与示例验证确认了其等价性。