[论文解读] Predicting Semen Motility using three-dimensional Convolutional Neural Networks

Priyansi Priyansi, Biswaroop Bhattacharjee+1 more|arXiv (Cornell University)|Jan 8, 2021

Sperm and Testicular Function参考文献 11被引用 7

一句话总结

本文提出一种3D卷积神经网络（3D ResNet）以从显微视频中预测精子运动能力，在仅使用每段视频50帧的情况下，于9个样本的测试集上实现了87.5%的准确率。通过利用视频片段中的时空特征并针对低数据环境进行优化，该方法实现了快速、准确且可重复的精液分析，平均推理时间仅为400毫秒，为人工或传统CASA方法提供了一种可扩展的替代方案。

ABSTRACT

Manual and computer aided methods to perform semen analysis are time-consuming, requires extensive training and prone to human error. The use of classical machine learning and deep learning based methods using videos to perform semen analysis have yielded good results. The state-of-the-art method uses regular convolutional neural networks to perform quality assessments on a video of the provided sample. In this paper we propose an improved deep learning based approach using three-dimensional convolutional neural networks to predict sperm motility from microscopic videos of the semen sample. We make use of the VISEM dataset that consists of video and tabular data of semen samples collected from 85 participants. We were able to achieve good results from significantly less data points. Our models indicate that deep learning based automatic semen analysis may become a valuable and effective tool in fertility and IVF labs.

研究动机与目标

• 开发一种基于深度学习的自动化精液分析方法，以减少对人工或昂贵CASA系统的依赖。
• 解决现有方法的局限性，包括高时间成本、对数据的敏感性以及人工评估中的错误。
• 通过视频数据提高精子运动能力预测的准确性和速度，特别是在资源有限的生育诊所中。
• 评估整合表格化临床数据是否能提升模型在精子运动能力分类中的性能。

提出的方法

• 本研究采用3D卷积神经网络（3D ResNet18和3D ResNet34）从精液样本的50帧视频片段中提取时空特征。
• 每段视频转换为灰度图以减小数据量并提高效率，同时保留与运动能力相关的运动和结构模式。
• 使用加权交叉熵损失函数并进行类别平衡处理，以缓解数据不平衡问题（52个进展性运动，9个非进展性运动，24个不动样本）。
• 采用周期性学习率调度器，配合权重衰减和梯度裁剪（0.1），以稳定训练过程并防止梯度爆炸。
• 在部分模型中，将表格化数据（如BMI、血清激素水平）与视频特征拼接，以探索多模态输入，但发现该方法会降低性能。
• 所有模型均使用PyTorch实现，每一样本的推理时间测量约为400毫秒，表明具备实时应用潜力。

实验结果

研究问题

• RQ1 3D卷积神经网络能否在有限视频数据下有效分类精子运动能力，优于传统或2D CNN方法？
• RQ2 在基于视频的精子运动能力分类模型中，引入表格化临床数据如何影响模型性能？
• RQ3 在低数据环境下，模型深度（ResNet18与ResNet34）在准确率和泛化能力方面的影响程度如何？
• RQ4 所提出的方法是否达到足够高的准确率和速度，可实现真实临床环境中在生育和IVF实验室中的部署？

主要发现

• 3D ResNet18模型在验证集和测试集上均达到100%准确率，表明在小样本数据集上具有出色的泛化能力。
• 3D ResNet18 + 表格化数据模型在测试集上达到88.89%准确率，表明尽管存在数据不平衡，多模态输入仍可提升性能。
• 3D ResNet34 + 表格化数据模型在验证集上达到87.5%准确率，在测试集上为77.78%，表明更深的网络结构可能因冗余特征而出现过拟合或性能下降。
• 性能最佳的模型在测试集上实现87.5%准确率，平均推理时间为400毫秒，支持实时部署潜力。
• 研究发现，表格化数据引入了冗余信息和潜在的数据泄露，导致模型性能下降，表明仅使用视频输入在运动能力预测中更为有效。
• 研究结果为VISEM数据集上的基于分类的精子运动能力预测建立了新基准，为未来自动化精液分析研究提供了基础。