[论文解读] Y-Net: A Hybrid Deep Learning Reconstruction Framework for Photoacoustic Imaging in vivo

Hengrong Lan, Daohuai Jiang+2 more|arXiv (Cornell University)|Aug 2, 2019

Photoacoustic and Ultrasonic Imaging参考文献 46被引用 12

一句话总结

本文提出 Y-Net，一种新颖的混合深度学习框架，通过一种类似 U-Net 的架构，结合两个编码器和一个解码器，联合优化原始光声数据与束形成图像，显著减少了有限视角光声成像中的伪影。该方法在体外和体内实验中均优于传统方法和基于深度学习的重建技术，实现了更优的图像质量。

ABSTRACT

Photoacoustic imaging (PAI) is an emerging non-invasive imaging modality combining the advantages of deep ultrasound penetration and high optical contrast. Image reconstruction is an essential topic in PAI, which is unfortunately an ill-posed problem due to the complex and unknown optical/acoustic parameters in tissue. Conventional algorithms used in PAI (e.g., delay-and-sum) provide a fast solution while many artifacts remain, especially for linear array probe with limited-view issue. Convolutional neural network (CNN) has shown state-of-the-art results in computer vision, and more and more work based on CNN has been studied in medical image processing recently. In this paper, we present a non-iterative scheme filling the gap between existing direct-processing and post-processing methods, and propose a new framework Y-Net: a CNN architecture to reconstruct the PA image by optimizing both raw data and beamformed images once. The network connected two encoders with one decoder path, which optimally utilizes more information from raw data and beamformed image. The results of the test set showed good performance compared with conventional reconstruction algorithms and other deep learning methods. Our method is also validated with experiments both in-vitro and in vivo, which still performs better than other existing methods. The proposed Y-Net architecture also has high potential in medical image reconstruction for other imaging modalities beyond PAI.

研究动机与目标

• 为解决由于组织光学和声学参数未知而导致的光声图像重建问题的不适定性。
• 克服传统波束成形方法（如延迟叠加法）在有限视角条件下产生的伪影问题。
• 弥合直接处理与后处理深度学习方法在光声成像中的差距。
• 开发一种非迭代、端到端可训练的框架，利用原始数据与束形成图像联合提升重建性能。
• 在真实世界的体外和体内环境中验证该方法的鲁棒性与性能。

提出的方法

• Y-Net 采用类似 U-Net 的架构，包含两个并行编码器，分别独立处理原始光声数据与束形成图像。
• 两个编码器分支在瓶颈层进行特征融合，实现对两种数据类型联合特征学习。
• 共享的解码器路径从融合特征中重建最终图像，同时优化两个输入流。
• 网络通过监督损失函数进行端到端训练，将预测图像与真实图像进行比较。
• 该架构设计为非迭代，支持快速推理，无需迭代优化。
• 该方法利用原始数据（高分辨率、低信噪比）与束形成图像（高信噪比、较低分辨率）之间的互补信息，提升重建保真度。

实验结果

研究问题

• RQ1 是否一种能够联合处理原始数据与束形成图像的深度学习框架，能够在光声图像重建中优于传统波束成形方法与独立的深度学习方法？
• RQ2 在有限视角光声成像中，两种不同输入模态（原始数据与束形成图像）的融合如何提升图像质量？
• RQ3 所提出的 Y-Net 架构在真实动物组织中的活体成像中是否相比现有方法保持更优性能？
• RQ4 Y-Net 的非迭代设计在多大程度上实现了在提升图像质量的同时保持快速重建速度？
• RQ5 Y-Net 框架是否可推广至光声成像以外的其他医学影像模态？

主要发现

• 与传统的延迟叠加波束成形相比，Y-Net 显著减少了使用有限视角线阵探头重建的光声图像中的伪影。
• 在测试集上，该方法的结构相似性（SSIM）更高，均方误差（MSE）更低，优于基线深度学习方法与传统算法。
• 在动物模型的活体实验中，Y-Net 比竞争方法更清晰地呈现了微血管和组织结构。
• 该网络在多种组织类型与成像条件下均表现出稳健性能，证实了其良好的泛化能力。
• 非迭代设计实现了快速推理，使该方法适用于实时临床应用。
• 消融实验表明，双编码器结构结合特征融合在性能提升方面显著优于单输入基线模型。