[论文解读] Towards CT-quality Ultrasound Imaging using Deep Learning

Sanketh Vedula, Ortal Senouf+3 more|arXiv (Cornell University)|Oct 17, 2017

Medical Imaging Techniques and Applications参考文献 8被引用 32

一句话总结

本文提出一种基于多分辨率卷积神经网络（CNN）的深度学习框架，通过从模拟的超声射频（RF）数据重建高分辨率、低噪声图像，实现CT级质量的超声成像。该方法将计算量巨大的去斑算法近似实现，CPU处理速度最高提升260倍，同时实现端到端的CT类图像重建，显著提升对比度和分辨率，在未见数据上达到23.79 dB的PSNR。

ABSTRACT

The cost-effectiveness and practical harmlessness of ultrasound imaging have made it one of the most widespread tools for medical diagnosis. Unfortunately, the beam-forming based image formation produces granular speckle noise, blurring, shading and other artifacts. To overcome these effects, the ultimate goal would be to reconstruct the tissue acoustic properties by solving a full wave propagation inverse problem. In this work, we make a step towards this goal, using Multi-Resolution Convolutional Neural Networks (CNN). As a result, we are able to reconstruct CT-quality images from the reflected ultrasound radio-frequency(RF) data obtained by simulation from real CT scans of a human body. We also show that CNN is able to imitate existing computationally heavy despeckling methods, thereby saving orders of magnitude in computations and making them amenable to real-time applications.

研究动机与目标

• 为解决传统超声成像中斑点噪声、模糊和低分辨率等局限性，这些因素会阻碍组织的准确表征。
• 开发一种实时、计算高效的替代方法，以替代现有高复杂度的去斑算法（如NLM和BM3D）。
• 探索利用深度学习从超声RF数据重建CT级图像的可行性。
• 实现在便携式和实时超声系统中部署先进图像恢复技术的实用化。

提出的方法

• 训练一个端到端的多分辨率CNN架构，以近似应用在对数变换和反卷积后的超声RF数据上的最先进去斑算法（NLM、BM3D、TV）的输出结果。
• 该方法使用同态滤波将乘法性斑点噪声转换为加法性噪声，随后通过异常值压缩使噪声分布趋于高斯分布。
• 网络在13,860个模拟的超声-CT图像块上进行训练，输入为IQ数据（2个通道），真实标签为对应的CT图像块。
• 在NVIDIA Titan X GPU上训练16万个小批量，使用最小化与真实标签像素差异的损失函数。
• 该框架支持实时去斑处理，并可直接从超声数据重建出CT类图像。
• 网络在未见的CT数据集上表现出良好的泛化能力，PSNR性能保持一致。

实验结果

研究问题

• RQ1 深度CNN能否在实现显著加速的同时，准确近似计算量巨大的去斑算法（如NLM和BM3D）的输出？
• RQ2 能否训练CNN从模拟的RF数据中重建出CT级质量的超声图像，从而提升分辨率和对比度？
• RQ3 基于CNN的重建方法是否能在未见的CT数据集上泛化，而不会出现过拟合？
• RQ4 网络能否在去除模态特异性伪影（如斑点噪声和CT噪声）的同时，保留解剖学和病理学细节？

主要发现

• 与传统NLM、BM3D和TV滤波的实现相比，基于CNN的去斑方法在GPU上实现4倍加速，在CPU上实现8至260倍加速，同时保持与原始去斑输出高度一致的保真度。
• 与原始去斑图像相比，CNN近似结果的PSNR分别为34.40 dB（BM3D）、35.33 dB（NLM）和41.66 dB（TV），表明近似精度极高。
• 基于CNN的CT级图像重建在独立测试集上达到23.79 dB的PSNR，与训练集性能非常接近，表明泛化能力极强。
• 视觉与定量结果表明，重建的CT类图像显著更接近真实CT图像，对比度和结构细节均得到改善。
• 网络成功学习了CT与超声之间的共享解剖结构流形，在抑制模态特异性噪声（如重建图像中的CT特异性噪声）的同时保留了组织特征。
• 结果表明，CNN可作为超声成像中复杂反问题求解器的实用、实时替代方案，使低成本设备也能实现高质量图像重建。