[论文解读] Unsupervised Deep Basis Pursuit: Learning inverse problems without ground-truth data

Jonathan I. Tamir, Stella X. Yu+1 more|arXiv (Cornell University)|Oct 29, 2019

Sparse and Compressive Sensing Techniques参考文献 18被引用 22

一句话总结

本文提出无监督深度基追踪（Unsupervised Deep Basis Pursuit, DBP），一种在无真实标签数据的情况下学习图像重建的方法，通过联合优化深度卷积神经网络（CNN）先验与图像重建，仅依赖测量噪声统计。该方法实现的重建质量接近监督学习，适用于完全采样数据不可用的应用场景，如高分辨率动态磁共振成像（MRI）。

ABSTRACT

Basis pursuit is a compressed sensing optimization in which the l1-norm is minimized subject to model error constraints. Here we use a deep neural network prior instead of l1-regularization. Using known noise statistics, we jointly learn the prior and reconstruct images without access to ground-truth data. During training, we use alternating minimization across an unrolled iterative network and jointly solve for the neural network weights and training set image reconstructions. At inference, we fix the weights and pass the measurements through the network. We compare reconstruction performance between unsupervised and supervised (i.e. with ground-truth) methods. We hypothesize this technique could be used to learn reconstruction when ground-truth data are unavailable, such as in high-resolution dynamic MRI.

研究动机与目标

• 解决在真实标签数据无法获取或不切实际时，训练深度学习模型用于图像重建的挑战。
• 开发一种方法，利用已知的噪声统计在无需配对测量与真实标签图像的情况下训练深度CNN先验。
• 在反问题（如欠采样MRI）中实现稳健的基于模型的深度学习，其中完全采样的数据成本过高或无法获取。
• 证明仅使用测量域损失的无监督训练可实现接近监督学习的重建性能。

提出的方法

• 该方法将图像重建表述为类似于基追踪去噪的约束优化问题，用基于深度CNN的先验替代传统的ℓ₁-范数正则化。
• 通过交替最小化联合优化CNN权重与重建图像，约束条件为测量值与前向投影重建结果之间的残差误差必须在噪声边界ε之内。
• 训练过程中，损失在测量域（傅里叶域）使用欧几里得范数计算，作为图像域重建误差的噪声代理。
• 网络架构为可微分的展开式U-Net，具有独立处理实部与虚部的通道，支持通过CNN和数据一致性层的端到端反向传播。
• 推理阶段，固定训练好的CNN权重，将新测量数据输入网络生成重建结果，无需真实标签监督。
• 该方法在欠采样多通道MRI上进行评估，将无监督DBP与监督DBP及MoDL进行比较，性能通过测试集和验证集的NRMSE衡量。

实验结果

研究问题

• RQ1 在无真实标签图像可用的情况下，能否有效学习用于图像重建的深度CNN先验？
• RQ2 仅使用测量噪声统计进行无监督训练，其重建质量与监督学习相比如何？
• RQ3 在无真实标签监督的情况下，展开网络中使用硬性数据一致性约束是否能提升稳定性与性能？
• RQ4 当无真实标签数据训练时，该方法能否实现与MoDL等最先进监督方法相当的性能？

主要发现

• 当使用最优展开次数（12次）时，无监督DBP在测试集上实现了0.085的平均NRMSE，优于PICS（NRMSE = 0.102）和MoDL（NRMSE = 0.098）。
• 即使无真实标签数据，无监督DBP的重建质量仍达到监督DBP的95%以上，证明其在缺乏监督情况下的强大性能。
• 无监督方法在不同展开次数下的推理性能更稳定，超过10次展开后性能下降极小，而MoDL在更高展开次数时出现过拟合。
• 中间特征图显示，监督DBP网络在增强和去噪图像特征方面优于无监督变体，尽管两者学习到了相似的结构先验。
• 无监督训练过程因测量域损失是图像域误差的噪声代理，导致优化更新更嘈杂，训练过程中NRMSE曲线波动明显。
• 当使用5次展开训练时，无监督DBP在测试集上实现0.092的NRMSE，而通过验证集优化的展开次数（12次）将NRMSE降低至0.085，表明推理超参数调优可提升性能。