[论文解读] Stacked Neural Networks for end-to-end ciliary motion analysis

Charles Lu, Mirko Marx+4 more|arXiv (Cornell University)|Mar 20, 2018

Retinal Imaging and Analysis参考文献 12被引用 4

一句话总结

该论文提出了一种端到端的深度学习流程，采用堆叠的DenseNet和卷积LSTM，自动检测高速视频中的纤毛，通过光流不变量提取运动特征，并以90%的准确率将纤毛运动分类为正常或异常。该框架实现了无需人工标注的全自动、可扩展分析。

ABSTRACT

Cilia are hairlike structures protruding from nearly every cell in the body. Diseases known as ciliopathies, where cilia function is disrupted, can result in a wide spectrum of disorders. However, most techniques for assessing ciliary motion rely on manual identification and tracking of cilia; this process is laborious and error-prone, and does not scale well. Even where automated ciliary motion analysis tools exist, their applicability is limited. Here, we propose an end-to-end computational machine learning pipeline that automatically identifies regions of cilia from videos, extracts patches of cilia, and classifies patients as exhibiting normal or abnormal ciliary motion. In particular, we demonstrate how convolutional LSTM are able to encode complex features while remaining sensitive enough to differentiate between a variety of motion patterns. Our framework achieves 90% with only a few hundred training epochs. We find that the combination of segmentation and classification networks in a single pipeline yields performance comparable to existing computational pipelines, while providing the additional benefit of an end-to-end, fully-automated analysis toolbox for ciliary motion.

研究动机与目标

• 为解决人工和半自动纤毛运动分析存在的耗时、易出错且不可扩展的局限性。
• 开发一种完全自动化的端到端流程，消除纤毛运动评估中的手动干预。
• 通过用标准化的深度学习框架替代主观视觉评估，提高不同机构间纤毛运动诊断的一致性。
• 利用纤毛运动模式中的时空特征，以区分纤毛病中细微的异常。
• 证明堆叠架构结合语义分割与时间分类，可在极少人工输入下实现高诊断准确率。

提出的方法

• 使用DenseNet对高速视频帧中的纤毛区域进行语义分割，分为四类：侧视纤毛、俯视纤毛、细胞体和背景。
• 通过随机裁剪（256×256）和水平/垂直翻转进行数据增强，以提高对成像差异的鲁棒性。
• 计算光流导数，提取微分不变量——特别是瞬时旋转——作为运动敏感特征。
• 从分割出的纤毛区域中提取小的时空块，并将其输入卷积LSTM网络以建模时间动态。
• 以堆叠的端到端方式联合训练分割网络与分类网络，以优化下游分类性能。
• 采用ITK-SNAP在部分视频上生成的真值分割掩码，对分割网络进行监督。

实验结果

研究问题

• RQ1 完全端到端的深度学习流程是否能在无需人工标注的情况下实现高精度的纤毛运动分类？
• RQ2 基于DenseNet的分割与基于卷积LSTM的分类相结合，在捕捉复杂纤毛运动模式方面有多高效？
• RQ3 与原始像素数据相比，光流旋转等运动不变量在多大程度上能提升分类性能？
• RQ4 模型性能与分割质量的相关性如何，特别是在细胞体边界模糊的情况下？
• RQ5 该框架能否在临床视频记录中常见的不同纤毛形态和成像伪影下实现泛化？

主要发现

• 所提出的端到端流程仅需数百个训练周期，即可在区分正常与异常纤毛运动方面实现90%的分类准确率。
• 分类模型的性能与分割掩码的质量密切相关，尤其在细胞体与纤毛边界清晰的视频中表现更优。
• 更高品质的分割可提升块提取质量，从而改善输入卷积LSTM进行分类的特征表示。
• 通过数据增强与特征工程，该框架对成像伪影（如光照不均、相机移动、对焦变化）表现出强鲁棒性。
• 尽管正常纤毛运动存在高度变异性，模型仍能有效学习区分病理模式，表明其能从运动不变量中有效学习特征。
• 堆叠架构优于独立的分割或分类流程，证实了在端到端系统中联合优化的优势。