[论文解读] OTFPF: Optimal Transport-Based Feature Pyramid Fusion Network for Brain Age Estimation with 3D Overlapped ConvNeXt

Fu Yu, Yanyan Huang+7 more|arXiv (Cornell University)|May 10, 2022

Brain Tumor Detection and Classification被引用 4

一句话总结

该论文提出了一种名为OTFPF的端到端深度学习框架，用于使用3D T1加权MRI进行脑龄估计，通过整合基于最优传输的特征金字塔融合、3D重叠ConvNeXt以及多路径特征融合，以增强半多模态和多尺度特征学习。该模型在11,728名年龄为3至97岁的受试者上实现了最先进性能，平均绝对误差（MAE）为2.097，皮尔逊相关系数（PCC）为0.993，斯皮尔曼等级相关系数（SRCC）为0.989。

ABSTRACT

Chronological age of healthy brain is able to be predicted using deep neural networks from T1-weighted magnetic resonance images (T1 MRIs), and the predicted brain age could serve as an effective biomarker for detecting aging-related diseases or disorders. In this paper, we propose an end-to-end neural network architecture, referred to as optimal transport based feature pyramid fusion (OTFPF) network, for the brain age estimation with T1 MRIs. The OTFPF consists of three types of modules: Optimal Transport based Feature Pyramid Fusion (OTFPF) module, 3D overlapped ConvNeXt (3D OL-ConvNeXt) module and fusion module. These modules strengthen the OTFPF network's understanding of each brain's semi-multimodal and multi-level feature pyramid information, and significantly improve its estimation performances. Comparing with recent state-of-the-art models, the proposed OTFPF converges faster and performs better. The experiments with 11,728 MRIs aged 3-97 years show that OTFPF network could provide accurate brain age estimation, yielding mean absolute error (MAE) of 2.097, Pearson's correlation coefficient (PCC) of 0.993 and Spearman's rank correlation coefficient (SRCC) of 0.989, between the estimated and chronological ages. Widespread quantitative experiments and ablation experiments demonstrate the superiority and rationality of OTFPF network. The codes and implement details will be released on GitHub: https://github.com/ZJU-Brain/OTFPF after final decision.

研究动机与目标

• 通过利用来自T1、灰质和白质MRI的多尺度和半多模态特征，提升脑龄估计的准确性。
• 解决现有模型在特征层次利用不足且无法最优融合多模态输入的局限性。
• 开发一种端到端架构，集成最优传输以实现结构化特征融合，并提升收敛速度。
• 验证生物性别作为脑龄预测中的模态的重要性。
• 证明在准确性和训练效率方面，该模型优于近期的最先进模型。

提出的方法

• OTFPF网络采用多路径架构：一个主干网络用于T1 MRI，两个分支用于灰质和白质图像，以及一个独立路径用于性别标签。
• 使用3D重叠ConvNeXt（3D OL-ConvNeXt）模块提取分层特征，降低计算成本并提升局部特征捕捉能力。
• 基于最优传输的特征金字塔融合（OTFPF）模块利用最优传输嵌入，在不同路径间实现多尺度特征的结构化、可微分特征对齐。
• 融合模块在四个阶段级联进行特征融合，逐步将半多模态特征与主干路径组合，以丰富表征。
• 该架构为端到端可训练，损失通过平均绝对误差（MAE）和相关性指标最小化。
• 消融研究验证了各组件的贡献，包括性别标签、OTEM以及3D OL-ConvNeXt设计。

实验结果

研究问题

• RQ1 基于最优传输的特征融合是否能改善脑龄估计中多尺度和半多模态特征的整合？
• RQ2 3D重叠ConvNeXt架构与标准3D ConvNeXt相比，在捕捉脑形态模式方面表现如何？
• RQ3 生物性别作为模态在提升估计准确性方面有何贡献？
• RQ4 通过联合优化多路径特征实现端到端训练，是否能带来更快的收敛速度和更好的性能？
• RQ5 如OTEM和FPFN等架构组件如何提升模型的鲁棒性和准确性？

主要发现

• OTFPF网络实现了2.097的平均绝对误差（MAE），在所有对比模型中最低，表明估计精度极高。
• 该模型实现了0.993的皮尔逊相关系数（PCC）和0.989的斯皮尔曼等级相关系数（SRCC），表明估计年龄与实际年龄高度一致。
• 消融研究证实，若移除最优传输嵌入（OTEM），MAE将上升至2.211，凸显其在特征融合中的关键作用。
• 若不包含性别标签，性能下降至MAE为2.293，凸显其在建模性别特异性衰老模式中的重要性。
• 若将3D OL-ConvNeXt替换为标准3D ConvNeXt，MAE将上升至2.718，证明重叠卷积设计在特征提取中的优越性。
• 该模型收敛更快，并在所有指标上均优于SFCN、GLTN和TSAN，确立了在测试数据集上的新最先进水平。