[论文解读] Towards accurate quantitative photoacoustic imaging: learning vascular blood oxygen saturation in 3D

Ciaran Bench, Andreas Hauptmann+1 more|arXiv (Cornell University)|May 3, 2020

Photoacoustic and Ultrasonic Imaging参考文献 50被引用 6

一句话总结

本文提出一种3D全卷积神经网络（FCN），直接从真实组织模型的多波长3D光声图像中估计血管血氧饱和度（sO2）。该网络在包含噪声和有限视角伪影的模拟数据上进行训练，在40个测试案例中sO2估计的平均绝对误差为4.4%，表现出良好的鲁棒性，并展示了在体内定量光声成像中实现高精度的潜力。

ABSTRACT

Significance: 2D fully convolutional neural networks have been shown capable of producing maps of sO$_2$ from 2D simulated images of simple tissue models. However, their potential to produce accurate estimates in vivo is uncertain as they are limited by the 2D nature of the training data when the problem is inherently 3D, and they have not been tested with realistic images. Aim: To demonstrate the capability of deep neural networks to process whole 3D images and output 3D maps of vascular sO$_2$ from realistic tissue models/images. Approach: Two separate fully convolutional neural networks were trained to produce 3D maps of vascular blood oxygen saturation and vessel positions from multiwavelength simulated images of tissue models. Results: The mean of the absolute difference between the true mean vessel sO$_2$ and the network output for 40 examples was 4.4% and the standard deviation was 4.5%. Conclusions: 3D fully convolutional networks were shown capable of producing accurate sO$_2$ maps using the full extent of spatial information contained within 3D images generated under conditions mimicking real imaging scenarios. This work demonstrates that networks can cope with some of the confounding effects present in real images such as limited-view artefacts, and have the potential to produce accurate estimates in vivo.

研究动机与目标

• 开发一种深度学习方法，能够从真实3D光声图像中直接估计血管血氧饱和度（sO2）的3D分布。
• 通过在训练和推理过程中充分利用完整的3D空间信息，克服2D网络的局限性。
• 在包含噪声和有限视角伪影等真实成像条件下的性能进行评估。
• 证明深度学习能够在无需预先知晓光学辐射 fluence 分布的情况下，准确恢复复杂、异质性组织模型中的sO2。
• 为临床应用（如肿瘤氧合监测）中实现准确、定量的光声成像奠定基础。

提出的方法

• 训练了两个独立的3D全卷积神经网络：一个用于预测3D sO2分布图，另一个用于从多波长3D光声图像中预测血管位置。
• 使用蒙特卡罗模拟（MCXLAB）生成模拟的3D光声数据，其光学特性基于皮肤各层和血液在多个波长下的真实参数。
• 基于每个时间序列的最大振幅，采用信噪比（SNR）模型向模拟压力信号中添加噪声。
• 利用k-Wave时反演算法对图像进行重建，从含噪压力数据中生成3D PA图像。
• 在2000组具有不同组织和血管构型的模拟数据集上进行网络训练，以实现对解剖复杂性的泛化能力。
• 通过计算40个独立测试样本中真实平均sO2与预测sO2值之间的平均绝对差来评估性能。

实验结果

研究问题

• RQ1 3D全卷积网络能否从真实3D光声图像中准确估计血氧饱和度（sO2）？
• RQ2 当网络在3D数据上进行训练，但测试时面对包含噪声和有限视角伪影等真实干扰因素的图像时，其性能如何？
• RQ3 深度学习在多大程度上可以无需显式建模光强分布而恢复sO2？
• RQ4 与2D方法相比，3D架构是否在保持空间准确性及降低估计误差方面表现更优？
• RQ5 该网络能否在真实模拟环境中泛化于多样的血管几何形态和组织光学特性？

主要发现

• 在40个测试样本中，3D全卷积网络预测值与真实平均血管sO2之间的平均绝对误差为4.4%。
• 40个样本中误差的标准差为4.5%，表明在不同组织构型下性能保持一致。
• 该网络在真实成像场景中常见的噪声和有限视角伪影下表现出鲁棒性，表明其具备在体内应用的可行性。
• 网络架构中引入的3D空间上下文信息显著提升了估计精度，尤其在复杂血管区域表现更优。
• 该方法成功实现了sO2的恢复，而无需预先知晓组织的光学辐射 fluence，完全依赖于从原始图像数据端到端的学习。
• 结果验证了利用深度学习实现在临床相关3D组织环境中对sO2进行定量光声成像的可行性。