[论文解读] Optimal rates for total variation denoising

Jan-Christian Hütter, Philippe Rigollet|arXiv (Cornell University)|Mar 30, 2016

Image and Signal Denoising Methods参考文献 25被引用 65

一句话总结

本文为二维网格上的总变差（TV）去噪建立了精确的Oracle不等式，表明其在分段常数、Hölder光滑及双等向图像模型下可实现近似最优的估计速率。分析利用了未归一化拉普拉斯矩阵的谱性质，包括特征向量去局域化与谱衰减，推导出一种数据依赖的正则化参数，确保在均方误差意义下达到最优收敛速率。

ABSTRACT

Motivated by its practical success, we show that the two-dimensional total variation denoiser satisfies a sharp oracle inequality that leads to near optimal rates of estimation for a large class of image models such as bi-isotonic, Hölder smooth and cartoons. Our analysis hinges on properties of the unnormalized Laplacian of the two-dimensional grid such as eigenvector delocalization and spectral decay. We also present extensions to more than two dimensions as well as several other graphs.

研究动机与目标

• 弥合总变差去噪在图像恢复中实际成功与理论理解之间的差距。
• 在高斯白噪声模型下，建立TV去噪的极小极大最优估计速率。
• 利用未归一化拉普拉斯矩阵的谱性质，分析TV去噪在二维网格及更一般图上的性能。
• 推导出一个精确的Oracle不等式，平衡结构化图像模型下的逼近误差与估计误差。
• 将结果从一维融合Lasso推广至高维网格及其他具有有利谱结构的图。

提出的方法

• 将TV去噪形式化为凸优化问题：通过 $\hat{\theta} \in \arg\min_{\theta} \frac{1}{n}\|\theta - y\|_2^2 + \lambda\|D\theta\|_1 $ 最小化平方误差与总变差惩罚之和，其中 $D$ 为关联矩阵。
• 分析二维网格的未归一化拉普拉斯矩阵 $L = D^T D$，聚焦于谱衰减与特征向量去局域化，以控制估计误差。
• 推导出一个精确的Oracle不等式，权衡逼近误差 $\|\theta^\uparrow - \theta^*\|^2$ 与涉及 $\lambda\|D\theta^\uparrow\|_1$ 的估计误差。
• 利用慢速率界推导出高概率偏差控制，正则化参数为 $\lambda = c\sigma\sqrt{(\log n)\log(n/\delta)}/n$。
• 通过显式逼近误差界，将方法应用于双等向矩阵、Hölder光滑函数及卡通图像等结构化模型。
• 通过利用类似的谱性质，将结果扩展至高维网格及有界度数的图。

实验结果

研究问题

• RQ1 在二维高斯白噪声模型下，TV去噪的最优估计速率是什么？
• RQ2 TV去噪的性能在多大程度上依赖于底层图的谱性质，特别是二维网格？
• RQ3 能否为TV去噪建立精确的Oracle不等式，使其在各类结构化图像模型下实现近似极小极大最优？
• RQ4 正则化参数 $\lambda$ 的选择在高维设置下如何影响估计误差？
• RQ5 TV去噪在不事先知晓不连续区域数量的情况下，能在多大程度上自适应于分段常数或光滑图像结构？

主要发现

• 以至少 $1 - 2\delta$ 的概率，二维TV去噪器满足均方误差界 $\frac{1}{n}\|\hat{\theta} - \theta^*\|^2 \leq \frac{1}{n}\|\theta^\uparrow - \theta^*\|^2 + C\sigma\sqrt{\frac{(\log n)\log(n/\delta)}{n}}\sqrt{D(\theta^\uparrow)} + C\frac{\sigma^2}{n}\log(e/\delta)$。
• 该速率与双等向矩阵的极小极大最优速率一致，对数指数项小于先前工作，将 $\log^8 n$ 改进为 $\log^2 n$ 的量级。
• 对于卡通图像与Hölder光滑函数，该方法通过将投影至结构化类以控制逼近误差，实现了近似最优速率。
• 分析表明，二维网格的谱性质——特别是特征向量去局域化与多项式谱衰减——使得其误差界比一维情形更紧。
• 正则化参数 $\lambda$ 不需要事先知道总变差 $D(\theta^\uparrow)$，这得益于二维网格的有利谱行为，与先前工作不同。
• 该方法可扩展至高维网格及有界度数的图，前提是未归一化拉普拉斯矩阵表现出类似的谱衰减与去局域化特性。