[论文解读] Zero-shot Medical Image Translation via Frequency-Guided Diffusion Models

Yunxiang Li, Hua‐Chieh Shao+6 more|arXiv (Cornell University)|Apr 5, 2023

Radiomics and Machine Learning in Medical Imaging被引用 6

一句话总结

该论文提出了一种频率引导的扩散模型（FGDM），用于零样本医学图像翻译，通过在扩散过程中利用高低频滤波器来保留解剖结构。仅在目标域图像上进行训练，FGDM 在 CBCT 到 CT 以及 MR 到 MR 图像翻译任务中，无需成对的源-目标图像，即在 FID、PSNR 和 SSIM 指标上达到了最先进性能。

ABSTRACT

Recently, the diffusion model has emerged as a superior generative model that can produce high quality and realistic images. However, for medical image translation, the existing diffusion models are deficient in accurately retaining structural information since the structure details of source domain images are lost during the forward diffusion process and cannot be fully recovered through learned reverse diffusion, while the integrity of anatomical structures is extremely important in medical images. For instance, errors in image translation may distort, shift, or even remove structures and tumors, leading to incorrect diagnosis and inadequate treatments. Training and conditioning diffusion models using paired source and target images with matching anatomy can help. However, such paired data are very difficult and costly to obtain, and may also reduce the robustness of the developed model to out-of-distribution testing data. We propose a frequency-guided diffusion model (FGDM) that employs frequency-domain filters to guide the diffusion model for structure-preserving image translation. Based on its design, FGDM allows zero-shot learning, as it can be trained solely on the data from the target domain, and used directly for source-to-target domain translation without any exposure to the source-domain data during training. We evaluated it on three cone-beam CT (CBCT)-to-CT translation tasks for different anatomical sites, and a cross-institutional MR imaging translation task. FGDM outperformed the state-of-the-art methods (GAN-based, VAE-based, and diffusion-based) in metrics of Frechet Inception Distance (FID), Peak Signal-to-Noise Ratio (PSNR), and Structural Similarity Index Measure (SSIM), showing its significant advantages in zero-shot medical image translation.

研究动机与目标

• 为解决医学图像翻译中结构退化这一关键挑战，即扩散模型在前向扩散过程中丢失解剖细节。
• 通过仅在目标域数据上进行训练，实现医学图像翻译的零样本学习，从而无需成对的源-目标图像。
• 通过在扩散过程中利用频域滤波保留高频细节，提升翻译图像的结构保真度。
• 开发一种鲁棒且可泛化的模型，在无需微调的情况下，对分布外的源图像也表现良好。
• 通过在推理时动态调整频率滤波器阈值，平衡图像的真实感与结构准确性。

提出的方法

• FGDM 使用高通滤波器提取并保留前向扩散过程中丢失的高频解剖细节（例如边缘、肿瘤）。
• 低通滤波器保留低频结构内容，确保图像整体形状和强度的一致性。
• 模型仅在目标域图像（如 CT 或 MR）上进行训练，从而实现对未见源域图像（如 CBCT）的零样本推理。
• 频率滤波器阈值（高通的 η 和低通的 T̃）可在推理时调节，以平衡结构保真度与真实感。
• 该框架将频率引导机制集成到扩散 GAN 主干网络中，实现高质量图像生成，并在 FID、PSNR 和 SSIM 指标上表现更优。
• 该方法基于观察：结构信息主要保留在中高频带，而低频内容在不同模态间保持一致。

Figure 1: Examples of intensity domain and spatial frequency domain visualizations of three pairs of CBCT images and CT images from different datasets.

实验结果

研究问题

• RQ1 在不使用成对源-目标数据的情况下，频域滤波能否提升基于扩散模型的医学图像翻译中的结构保留效果？
• RQ2 如何仅在目标域图像上训练扩散模型，仍能以零样本方式泛化到未见的源域图像？
• RQ3 在医学图像翻译中，高频细节保留与低频结构一致性之间应如何实现最优平衡？
• RQ4 在推理时动态调整频率滤波参数能否提升在多种解剖部位和成像协议下的性能？
• RQ5 与最先进 GAN、VAE 和扩散模型方法相比，FGDM 在保留解剖准确性与图像质量方面表现如何？

主要发现

• FGDM 在所有指标上均优于最先进 GAN、VAE 和扩散模型方法，在三个 CBCT 到 CT 图像翻译任务中实现了最低的 Fréchet Inception Distance（FID）。
• 在将翻译图像与源域 CBCT 图像比较时，FGDM 达到了最高的峰值信噪比（PSNR）和结构相似性指数测量（SSIM），表明其具有更优的结构保真度。
• FGDM 在分布外数据上保持了高性能，成功使用仅在头颈部 CT 数据上训练的模型，无需微调即实现了对肺部和 OARs CBCT 图像的翻译。
• 最优高频阈值 η 约为 10，此时性能达到峰值；低于或高于此范围的值均会导致图像质量下降，表现为伪影生成或信息丢失。
• 最优低频保留步数 T̃ 确定为 4，该设置在源 CBCT 的结构相似性与目标 CT 的强度相似性之间实现了良好平衡。
• 模型在无需重新训练的情况下，可通过在推理时调整频率滤波参数，实现对多种解剖部位和成像协议的稳健性能。

Figure 2: This illustration presents the statistical data of the Mean Squared Error (MSE) of frequency amplitudes between paired CBCT and CT across various spatial frequencies, derived from the frequency domains of three distinct datasets, where the first row is the average MSE distribution for the