[论文解读] Residual Attention based Network for Hand Bone Age Assessment

Eric Hsiao‐Kuang Wu, Bin Kong+9 more|arXiv (Cornell University)|Dec 21, 2018

Forensic Anthropology and Bioarchaeology Studies参考文献 10被引用 6

一句话总结

本文提出了一种统一的深度学习框架，结合Mask R-CNN进行手部分割和残差注意力网络进行骨龄评估，通过减少X射线伪影的干扰并聚焦于关键解剖区域，显著提升了准确性。该方法在RSNA儿科骨龄数据集上实现了7.38个月的平均绝对误差（MAE），优于先前的最先进方法。

ABSTRACT

Computerized automatic methods have been employed to boost the productivity as well as objectiveness of hand bone age assessment. These approaches make predictions according to the whole X-ray images, which include other objects that may introduce distractions. Instead, our framework is inspired by the clinical workflow (Tanner-Whitehouse) of hand bone age assessment, which focuses on the key components of the hand. The proposed framework is composed of two components: a Mask R-CNN subnet of pixelwise hand segmentation and a residual attention network for hand bone age assessment. The Mask R-CNN subnet segments the hands from X-ray images to avoid the distractions of other objects (e.g., X-ray tags). The hierarchical attention components of the residual attention subnet force our network to focus on the key components of the X-ray images and generate the final predictions as well as the associated visual supports, which is similar to the assessment procedure of clinicians. We evaluate the performance of the proposed pipeline on the RSNA pediatric bone age dataset and the results demonstrate its superiority over the previous methods.

研究动机与目标

• 解决全图深度学习模型在骨龄评估中的局限性，这些模型易受X射线标签和其他伪影的干扰。
• 通过聚焦于诸如腕骨、掌骨和指骨等关键手部结构，模仿临床Tanner-Whitehouse工作流程。
• 开发一个端到端可训练的流程，同时实现手部分割和骨龄预测，并生成可解释的注意力图。
• 通过在注意力特征学习前隔离相关手部区域，提升模型的鲁棒性和准确性。
• 验证注意力机制和性别输入在骨龄预测中的必要性。

提出的方法

• 使用Mask R-CNN子网络执行像素级手部分割，去除X射线标签和注释等背景干扰。
• 将分割后手部图像输入包含六个残差注意力模块的残差注意力网络，以聚焦于具有诊断意义的骨骼区域。
• 每个残差注意力模块由主干分支和软掩码分支组成，后者学习空间注意力权重以突出重要特征。
• 注意力机制动态突出显示腕骨和指骨等区域，模拟放射科医生在评估过程中的关注点。
• 整个流程端到端训练，实现分割和年龄预测的联合优化。
• 从软掩码分支生成视觉注意力图，以提供可解释性并增强与临床实践的一致性。

实验结果

研究问题

• RQ1 与全图方法相比，结合手部分割和基于注意力的特征学习的统一深度学习框架是否能显著提升骨龄评估的准确性？
• RQ2 通过Mask R-CNN去除X射线标签等背景伪影是否能显著降低预测误差？
• RQ3 残差网络中的注意力机制是否对聚焦于腕骨等具有诊断意义的骨骼结构至关重要？
• RQ4 将性别作为输入对模型预测性能有何影响？
• RQ5 网络生成的注意力图是否与临床关于关键骨骼成熟度指标的知识一致？

主要发现

• 所提方法在RSNA儿科骨龄数据集上实现了7.38个月的平均绝对误差（MAE），优于先前最先进方法的8.08个月MAE。
• 移除Mask R-CNN子网络后，MAE上升至12个月，表明背景抑制对实现稳健性能至关重要。
• 残差注意力网络生成的注意力图在早期和中期模块中高度聚焦于腕骨，与临床知识一致。
• 从Att3_2和Att3_3模块中移除注意力机制后，MAE增加了1.69个月，证实了注意力机制对准确预测的重要性。
• 排除性别输入后，MAE上升至10个月，表明性别是实现准确骨龄估计的重要因素。
• 该模型生成的注意力图具有可解释性，与放射学评估实践一致，增强了临床信任和透明度。