[论文解读] Photoacoustic Microscopy with Sparse Data Enabled by Convolutional Neural Networks for Fast Imaging

Jiasheng Zhou, Da He+4 more|arXiv (Cornell University)|Jun 8, 2020

Photoacoustic and Ultrasonic Imaging参考文献 32被引用 4

一句话总结

该论文提出了一种基于卷积神经网络（CNN）的方法，通过稀疏数据重建高质量的光声显微镜（PAM）图像，从而减少扫描点数以实现更快成像。通过利用残差块、挤压-激励模块以及感知损失函数，该模型可将1/4或1/16采样率的PAM图像恢复至接近全分辨率的质量，在叶片脉络及活体小鼠耳部和眼部数据上，无论是定量指标还是视觉保真度，均显著优于传统方法。

ABSTRACT

Photoacoustic microscopy (PAM) has been a promising biomedical imaging technology in recent years. However, the point-by-point scanning mechanism results in low-speed imaging, which limits the application of PAM. Reducing sampling density can naturally shorten image acquisition time, which is at the cost of image quality. In this work, we propose a method using convolutional neural networks (CNNs) to improve the quality of sparse PAM images, thereby speeding up image acquisition while keeping good image quality. The CNN model utilizes both squeeze-and-excitation blocks and residual blocks to achieve the enhancement, which is a mapping from a 1/4 or 1/16 low-sampling sparse PAM image to a latent fully-sampled image. The perceptual loss function is applied to keep the fidelity of images. The model is mainly trained and validated on PAM images of leaf veins. The experiments show the effectiveness of our proposed method, which significantly outperforms existing methods quantitatively and qualitatively. Our model is also tested using in vivo PAM images of blood vessels of mouse ears and eyes. The results show that the model can enhance the image quality of the sparse PAM image of blood vessels from several aspects, which may help fast PAM and facilitate its clinical applications.

研究动机与目标

• 通过稀疏数据采集减少扫描点数，以加速光声显微镜（PAM）成像。
• 解决点对点扫描PAM系统中成像速度与图像质量之间的权衡问题。
• 开发一种基于深度学习的图像重建方法，从低采样数据中恢复高保真度PAM图像。
• 在离体叶片脉络样本及活体小鼠组织（耳部和眼部）上验证该方法，以体现其广泛的生物医学适用性。
• 展示CNN模型对不同组织模式（包括树状和放射状血管结构）的鲁棒性。

提出的方法

• 自定义的CNN架构结合了用于特征学习的残差块以及用于增强通道特征重要性的挤压-激励（SE）块。
• 该模型通过将低采样率PAM图像（全分辨率的1/4或1/16）映射到潜在的全采样图像，实现图像超分辨率。
• 训练过程中使用感知损失函数以保留精细纹理和结构细节，避免仅使用MSE损失训练时常见的模糊问题。
• 网络在包含268张橡树和木兰叶片脉络全采样PAM图像的数据集上进行训练和验证，低采样版本通过均匀空间下采样生成。
• 采用PSNR和SSIM指标进行评估，并在无需迁移学习的情况下对活体PAM数据进行测试，展示了对生物组织的零样本泛化能力。
• 图像重建通过沿深度方向对PAM数据进行二维最大振幅投影（MAP）实现，该投影结果用作网络的输入和输出。

实验结果

研究问题

• RQ1 深度CNN能否仅使用原始采样点数的1/4或1/16，有效恢复高质量的PAM图像？
• RQ2 引入挤压-激励块和感知损失函数后，与仅使用MSE损失的标准CNN相比，图像重建性能有何提升？
• RQ3 在叶片脉络模式上训练的模型能否泛化到具有不同血管形态的活体小鼠耳部和眼部PAM图像？
• RQ4 所提出的方法在多大程度上提升了PAM成像速度，同时保持诊断级图像质量？
• RQ5 与基于像素的MSE损失相比，感知损失函数是否能更好地保留细微解剖结构？

主要发现

• 所提出的CNN模型在1/4和1/16采样情况下，PSNR和SSIM指标均显著优于双三次插值和EDSR方法，当引入SE块时，PSNR最高提升1.3876 dB，SSIM提升0.0936。
• 感知损失函数带来更优的视觉重建效果，能保留精细纹理和细小分支（如图4中蓝箭头所示），而MSE训练模型则会丢失这些细节。
• 在活体小鼠耳部PAM图像（4倍缩放）中，该模型达到28.7 dB的PSNR和0.89的SSIM，在定量和定性评估中均优于基线方法。
• 对于具有放射状血管模式的小鼠眼部图像，该模型保持了高结构保真度和边缘锐度，展现出对训练数据之外模式变化的鲁棒性。
• 该方法在实现1/16采样率下实现了4倍的成像速度提升，同时恢复的图像质量与全采样PAM相当，支持更快的动态成像。
• 消融实验表明，SE块对性能有显著贡献，在4倍缩放下，PSNR和SSIM分别提升超过1 dB和0.09。