[论文解读] Symmetric-Constrained Irregular Structure Inpainting for Brain MRI Registration with Tumor Pathology

Xiaofeng Liu, Fangxu Xing+4 more|arXiv (Cornell University)|Jan 17, 2021

Medical Image Segmentation Techniques参考文献 40被引用 7

一句话总结

该论文提出了一种对称约束的多阶段图像修复框架，以实现脑部MRI扫描中不规则脑瘤患者与健康脑模板之间的精确可变形配准。通过结合全局上下文感知生成、逐块特征优化以及解剖对称性先验，该方法在肿瘤区域合成出逼真的组织结构，显著提升了基线方法的配准性能。

ABSTRACT

Deformable registration of magnetic resonance images between patients with brain tumors and healthy subjects has been an important tool to specify tumor geometry through location alignment and facilitate pathological analysis. Since tumor region does not match with any ordinary brain tissue, it has been difficult to deformably register a patients brain to a normal one. Many patient images are associated with irregularly distributed lesions, resulting in further distortion of normal tissue structures and complicating registration's similarity measure. In this work, we follow a multi-step context-aware image inpainting framework to generate synthetic tissue intensities in the tumor region. The coarse image-to-image translation is applied to make a rough inference of the missing parts. Then, a feature-level patch-match refinement module is applied to refine the details by modeling the semantic relevance between patch-wise features. A symmetry constraint reflecting a large degree of anatomical symmetry in the brain is further proposed to achieve better structure understanding. Deformable registration is applied between inpainted patient images and normal brains, and the resulting deformation field is eventually used to deform original patient data for the final alignment. The method was applied to the Multimodal Brain Tumor Segmentation (BraTS) 2018 challenge database and compared against three existing inpainting methods. The proposed method yielded results with increased peak signal-to-noise ratio, structural similarity index, inception score, and reduced L1 error, leading to successful patient-to-normal brain image registration.

研究动机与目标

• 为解决由于不规则肿瘤区域导致的结构性不匹配，而带来的脑瘤患者与健康对照组之间可变形配准的挑战。
• 通过利用脑部解剖中的上下文和对称性先验，改进在大而形状不规则的肿瘤孔洞中的图像修复。
• 开发一种多阶段深度学习框架，以在缺失的肿瘤区域生成语义合理且解剖一致的组织外观。
• 通过使用修复后的图像作为形变场估计的中间输入，实现在患者与正常脑模板之间的精确配准。
• 在BraTS 2018数据集上验证该方法，并证明其在现有修复与配准基线方法上的优越性能。

提出的方法

• 该方法采用三阶段框架：全局感知推理（GPI）用于粗略图像生成，上下文感知块替换（CPS）用于基于语义相关性的特征级优化，以及特征到图像转换器（F2I）用于高保真重建。
• 在特征优化阶段显式集成对称性约束，利用人类大脑的准对称性以提升结构一致性和细节恢复能力。
• GPI模块采用基于U-Net的生成器并结合对抗性训练，以在肿瘤区域生成初始合理的组织内容。
• CPS模块使用可微分的块匹配机制，在图像中进行逐块特征匹配，以优化局部纹理并确保空间一致性。
• F2I网络通过对抗性损失、感知损失和循环一致性损失对输出进行优化，以增强真实感和结构保真度。
• 使用ANTs SyN算法，以归一化互相关作为相似性度量，对修复后的患者图像与正常脑图谱进行可变形配准。

实验结果

研究问题

• RQ1 多阶段、上下文感知的修复框架是否能有效重建不规则肿瘤区域中缺失的脑组织，同时保持解剖合理性？
• RQ2 将脑部对称性作为先验，是否能提升在肿瘤影响的MRI扫描中图像修复的质量和结构准确性？
• RQ3 使用修复后的图像作为可变形配准的输入，是否能实现比直接配准更好的肿瘤影响脑与健康脑图像之间的对齐效果？
• RQ4 与现有的一阶段修复方法相比，该方法在图像质量和配准性能方面有多大的提升？
• RQ5 对称性约束是否能在计算开销极小且不增加推理成本的前提下，提升修复质量？

主要发现

• 在BraTS 2018测试集上，使用对称性时，该方法的平均L1误差为254.8，显著低于基线方法（如Patch-match为445.8，Partial Conv为373.2）。
• 结构相似性指数（SSIM）达到0.9682（使用对称性），优于次优方法（0.9512），表明结构保留更优。
• 峰值信噪比（PSNR）在使用对称性时提升至34.52，表明图像保真度更高且失真更小。
• Inception分数在使用对称性时提升至10.58，表明生成组织纹理的质量和多样性更高。
• 修复配准后，注册脑体积与图谱之间的互信息从直接配准的平均值0.3097提升至0.3129，证实了在正常组织区域的对齐效果更优。
• 消融实验证实，对称性约束在不增加额外测试成本的情况下提升了修复质量，证明了其高效性与有效性。