[论文解读] Multi-View Hypercomplex Learning for Breast Cancer Screening

Eleonora Lopez, Eleonora Grassucci+1 more|arXiv (Cornell University)|Apr 12, 2022

AI in cancer detection被引用 6

一句话总结

本文提出超复数神经网络（PHResNets、PHYSEnet、PHYBOnet），通过参数化超复数代数建模多张乳腺X线摄影视图之间的相关性，模拟放射科医生的多视图阅片行为。该方法在联合处理所有视图时，优于实数域模型和最先进模型，在乳腺癌分类任务中提升了AUC与准确率，同时支持患者级与乳腺级分析，实现稳健且可解释的特征学习。

ABSTRACT

Radiologists interpret mammography exams by jointly analyzing all four views, as correlations among them are crucial for accurate diagnosis. Recent methods employ dedicated fusion blocks to capture such dependencies, but these are often hindered by view dominance, training instability, and computational overhead. To address these challenges, we introduce multi-view hypercomplex learning, a novel learning paradigm for multi-view breast cancer classification based on parameterized hypercomplex neural networks (PHNNs). Thanks to hypercomplex algebra, our models intrinsically capture both intra- and inter-view relations. We propose PHResNets for two-view exams and two complementary four-view architectures: PHYBOnet, optimized for efficiency, and PHYSEnet, optimized for accuracy. Extensive experiments demonstrate that our approach consistently outperforms state-of-the-art multi-view models, while also generalizing across radiographic modalities and tasks such as disease classification from chest X-rays and multimodal brain tumor segmentation. Full code and pretrained models are available at https://github.com/ispamm/PHBreast.

研究动机与目标

• 解决现有多视图深度学习模型在乳腺癌筛查中的局限性，即视图独立处理，未能利用视间相关性。
• 克服模型偏向某一视图或性能低于单视图基线的问题。
• 开发一种新框架，将多个乳腺X线摄影视图作为统一的、相关联的输入进行处理，保留乳腺摄影检查的临床多视图特性。
• 证明所提方法在不同数据集、任务（包括分割）及医学影像应用中的泛化能力与鲁棒性。
• 提供一种灵活可扩展的架构，兼容现有深度学习模型，适用于临床与研究环境部署。

提出的方法

• 采用参数化超复数神经网络（PHNNs），利用参数化超复数乘法（PHM）和卷积（PHC）层，对多个乳腺X线摄影视图之间的视间相关性进行建模。
• 设计PHResNets用于双视图（同侧）检查，PHYSEnet与PHYBOnet用于四视图（双侧与同侧）检查，支持联合患者级或乳腺级分析。
• 集成共享编码器与瓶颈模块，并结合PHC层，以学习双侧视图间的共享表征，通过超复数交互增强特征学习。
• 利用激活图与显著性图可视化并解释模型注意力机制，证明超复数模型同时关注两个视图，而实数域模型则不具备此特性。
• 采用迁移学习策略进行模型训练，使用预训练权重，尤其适用于ROI标注有限的小型数据集。
• 通过在GitHub上发布完整代码与预训练模型，确保模型可复现性，支持集成到多样化的医学影像处理流程中。

实验结果

研究问题

• RQ1 超复数神经网络能否有效建模多张乳腺X线摄影视图之间的相关性，从而在分类性能上优于实数域多视图网络？
• RQ2 所提方法是否在公开数据集的乳腺癌分类任务中，优于最先进的实数域模型与多路径架构？
• RQ3 超复数模型在多大程度上利用了所有视图的信息，而非仅依赖单一主导视图？
• RQ4 当应用于不同影像模态与任务（如分割）时，该方法的鲁棒性如何？
• RQ5 在不同数据场景下（如含1、2或4个视图的数据集及不同数据可用性），哪种模型架构（PHResNet、PHYSEnet、PHYBOnet）最为合适？

主要发现

• 所提超复数模型在公开乳腺癌分类基准测试中，显著优于实数域基线模型与最先进方法，AUC与准确率均更高。
• PHYSEnet与PHYBOnet在激活图中明确关注CC与MLO视图，而SEnet（实数域基线）仅聚焦于CC视图，表现更优。
• 显著性图证实，超复数模型同时利用双侧信息，注意力集中于恶性病灶；而实数域模型在仅MLO视图可见病灶时，会忽略该视图。
• 模型在不同数据集与任务（包括分割）中表现出鲁棒性，证明其泛化能力超越二分类任务。
• 预训练模型与代码的公开发布，使迁移学习得以高效实施，尤其适用于ROI标注有限的数据集。
• 该方法通过联合处理全部四张视图，实现患者级分析，捕捉临床实践中至关重要的视间相关性，提升诊断准确性。