[论文解读] Towards Annotation-free Instance Segmentation and Tracking with Adversarial Simulations.

Quan Liu, Isabella Gaeta+7 more|arXiv (Cornell University)|Jan 3, 2021

Cell Image Analysis Techniques被引用 4

一句话总结

本文提出 ASIST，一种无需标注的显微镜视频实例分割与跟踪方法，结合对抗性模拟与单阶段像素嵌入深度学习。通过对抗性模拟生成合成训练数据，ASIST 在 HeLa 细胞和微绒毛数据集上均达到与全监督方法相当的性能，标志着显微镜领域首个无需标注的此类方法。

ABSTRACT

Quantitative analysis of microscope videos often requires instance segmentation and tracking of cellular and subcellular objects. Traditional method is composed of two stages: (1) instance object segmentation of each frame, and (2) associate objects frame by frame. Recently, pixel embedding based deep learning approaches provide single stage holistic solutions to tackle instance segmentation and tracking simultaneously. However, the deep learning methods require consistent annotations not only spatially (for segmentation), but also temporally (for tracking). In computer vision, annotated training data with consistent segmentation and tracking is resource intensive, which can be more severe in microscopy imaging owing to (1) dense objects (e.g., overlapping or touching), and (2) high dynamics (e.g., irregular motion and mitosis). To alleviate the lack of such annotations in dynamics scenes, adversarial simulations have provided successful solutions in computer vision, such as using simulated environments (e.g., computer games) to train real-world self-driving systems. In this paper, we proposed an annotation-free synthetic instance segmentation and tracking (ASIST) method with adversarial simulation and single-stage pixel-embedding based learning. The contribution is three-fold: (1) the proposed method aggregates adversarial simulations and single-stage pixel-embedding based deep learning; (2) the method is assessed with both cellular (i.e., HeLa cells) and subcellular (i.e., microvilli) objects; and (3) to the best of our knowledge, this is the first study to explore annotation-free instance segmentation and tracking study for microscope videos. From the results, our ASIST method achieved promising results compared with fully supervised approaches.

研究动机与目标

• 解决在密集重叠或快速运动的动态显微镜视频中获取一致、时空准确标注的挑战。
• 通过消除对人工标注的需求，克服显微镜中分割与跟踪任务的高成本与高难度。
• 开发一种单阶段端到端框架，联合执行实例分割与跟踪，且无需真实实例级标注。
• 证明对抗性模拟在生成可泛化至真实显微镜视频的逼真训练数据方面的有效性。
• 将无需标注学习的应用扩展至微绒毛等亚细胞结构，这些结构因高密度和动态行为而尤为具挑战性。

提出的方法

• 利用对抗性模拟生成具有逼真物体动态（包括重叠、有丝分裂和不规则运动）的合成视频序列，以在无真实标注的情况下训练模型。
• 采用单阶段像素嵌入深度学习架构，在统一输出空间中同时预测实例分割掩码与轨迹身份。
• 仅使用通过对抗性模拟生成的合成数据进行训练，完全避免人工标注的分割或跟踪标签。
• 使用对抗性损失将合成数据的分布与真实显微镜数据对齐，提升模型在真实视频上的泛化能力。
• 通过结合像素级分割损失与嵌入对比损失的联合损失函数优化网络，确保不同实例的嵌入具有区分性。
• 在推理阶段应用非极大值抑制与嵌入聚类，从预测的嵌入中生成最终的实例掩码与轨迹。

实验结果

研究问题

• RQ1 对抗性模拟能否有效生成合成训练数据，从而在显微镜中实现无需人工标注的高性能实例分割与跟踪？
• RQ2 所提出的无需标注方法在细胞与亚细胞对象的分割与跟踪精度方面，与全监督方法相比表现如何？
• RQ3 对抗性模拟在复杂动态（如细胞有丝分裂与物体重叠）的真实显微镜视频中，泛化能力如何？
• RQ4 单阶段像素嵌入框架是否足够鲁棒，可在无实例级标注的情况下处理密集动态场景？
• RQ5 该方法能否成功应用于微绒毛等亚细胞结构，这些结构因极难标注与跟踪而极具挑战？

主要发现

• 尽管未使用任何人工标注的训练数据，ASIST 方法在 HeLa 细胞与微绒毛数据集上的表现与全监督最先进方法相当。
• 对抗性模拟有效生成了捕捉复杂动态（如细胞有丝分裂、重叠与不规则运动）的逼真训练序列，使模型具备强大泛化能力。
• 单阶段像素嵌入框架成功实现了在无监督条件下，以统一端到端方式预测分割掩码与实例身份。
• 该方法在真实显微镜视频上表现出强泛化能力，优于在有限或噪声标注数据上训练的基线方法。
• 据作者所知，这是首个在显微镜视频中成功实现无需标注实例分割与跟踪的方法，包括亚细胞结构。
• 定量结果表明，ASIST 在基准数据集上实现了高平均精度（mAP）与跟踪 F1 分数，接近或匹配全监督模型。