[论文解读] Unsupervised Learning with Stein's Unbiased Risk Estimator

Christopher A. Metzler, Ali Mousavi+2 more|arXiv (Cornell University)|May 26, 2018

Sparse and Compressive Sensing Techniques参考文献 48被引用 60

一句话总结

本文展示了 Stein’s Unbiased Risk Estimator (SURE) 及其广义推广如何在没有基准真影像的情况下训练 CNN 进行图像去噪和恢复，包括无数据去噪、带噪训练数据的去噪，以及来自带噪测量的压缩感知。

ABSTRACT

Learning from unlabeled and noisy data is one of the grand challenges of machine learning. As such, it has seen a flurry of research with new ideas proposed continuously. In this work, we revisit a classical idea: Stein's Unbiased Risk Estimator (SURE). We show that, in the context of image recovery, SURE and its generalizations can be used to train convolutional neural networks (CNNs) for a range of image denoising and recovery problems without any ground truth data. Specifically, our goal is to reconstruct an image $x$ from a noisy linear transformation (measurement) of the image. We consider two scenarios: one where no additional data is available and one where we have measurements of other images that are drawn from the same noisy distribution as $x$, but have no access to the clean images. Such is the case, for instance, in the context of medical imaging, microscopy, and astronomy, where noise-less ground truth data is rarely available. We show that in this situation, SURE can be used to estimate the mean-squared-error loss associated with an estimate of $x$. Using this estimate of the loss, we train networks to perform denoising and compressed sensing recovery. In addition, we also use the SURE framework to partially explain and improve upon an intriguing results presented by Ulyanov et al. in "Deep Image Prior": that a network initialized with random weights and fit to a single noisy image can effectively denoise that image. Public implementations of the networks and methods described in this paper can be found at https://github.com/ricedsp/D-AMP_Toolbox.

研究动机与目标

• 在没有可用的真实图像作为对照的情况下，动机化从未标注和带噪数据中学习图像恢复。
• 证明 SURE 可以在没有干净目标的情况下估计去噪和恢复的 MSE 损失。
• 展示 SURE 如何使从带噪训练数据中训练 CNN 去噪器成为可能。
• 将 SURE 拓展到用于已知 H 和噪声模型的线性测量的广义 SURE（GSURE）。
• 探索与 Deep Image Prior 的联系，并将散度理解为估计量方差的代理。

提出的方法

• 提出 SURE、MC-SURE，通过对 f_theta(y+epsilon b) 进行蒙特卡洛采样来估计散度。
• 通过训练 CNN 将嘈杂观测映射到去噪输出，将 SURE 用于无训练数据的去噪（Deep Image Prior 变体）。
• 通过最小化 SURE 损失而不是真实 MSE，在带噪训练数据上训练 CNN 去噪器。
• 扩展到使用 LDAMP 的带噪测量的压缩感知；比较 MSE、SURE 和 GSURE 的训练目标。
• 对线性测量模型 y = Hx + w，具有已知噪声特性和投影 P 到 H 的像域，使用 GSURE。

实验结果

研究问题

• RQ1 在没有干净图像可用时，SURE 能否为图像恢复提供对 MSE 损失的无偏估计？
• RQ2 是否可以在没有真实标签的情况下，利用 SURE/GSURE 损失训练 CNN 去噪器？
• RQ3 在带噪数据上使用 SURE 进行训练与在真实 MSE 上训练或在压缩感知任务中使用 GSURE 进行训练相比，有何差异？

主要发现

• SURE 使在没有任何真实参考数据的情况下训练去噪器成为可能。
• 在带噪数据上用 SURE 训练的 DnCNN 的性能几乎与在干净数据上用 MSE 训练的网络相当。
• 在使用 SURE 训练时，未训练的大型 U-net 也能获得具有竞争力的去噪表现，尽管比有监督或预训练方法慢。
• 使用 SURE 训练的 LDAMP 实现了具有竞争力的压缩感知恢复性能，在某些情况下与 BM3D-AMP 相当，并且比基于 GSURE 的变体更快。
• 在 CS 设置中，GSURE 可能不如 MSE 或 SURE，原因是投影距离并不能完美地反映完整的 x 重构。