[论文解读] Quantitative Digital Microscopy with Deep Learning

Benjamin Midtvedt, Saga Helgadóttir+4 more|Figshare|Oct 16, 2020

Cell Image Analysis Techniques参考文献 83被引用 4

一句话总结

本文介绍了 DeepTrack 2.0，这是一个开源、用户友好的软件框架，使研究人员能够使用合成或增强数据设计、训练和验证用于定量数字共聚焦显微镜的深度学习模型。该框架无需大量编程即可实现高精度的粒子追踪、细胞计数和分类，显著降低了在显微镜领域应用深度学习的入门门槛。

ABSTRACT

Video microscopy has a long history of providing insights and breakthroughs for a broad range of disciplines, from physics to biology. Image analysis to extract quantitative information from video microscopy data has traditionally relied on algorithmic approaches, which are often difficult to implement, time consuming, and computationally expensive. Recently, alternative data-driven approaches using deep learning have greatly improved quantitative digital microscopy, potentially offering automatized, accurate, and fast image analysis. However, the combination of deep learning and video microscopy remains underutilized primarily due to the steep learning curve involved in developing custom deep-learning solutions. To overcome this issue, we introduce a software, DeepTrack 2.0, to design, train and validate deep-learning solutions for digital microscopy. We use it to exemplify how deep learning can be employed for a broad range of applications, from particle localization, tracking and characterization to cell counting and classification. Thanks to its user-friendly graphical interface, DeepTrack 2.0 can be easily customized for user-specific applications, and, thanks to its open-source object-oriented programming, it can be easily expanded to add features and functionalities, potentially introducing deep-learning-enhanced video microscopy to a far wider audience.

研究动机与目标

• 为解决在视频共聚焦显微镜中应用深度学习时面临的陡峭学习曲线和实现挑战，提供一种易于使用、集成化的软件解决方案。
• 通过深度学习实现精确、快速且自动化的图像分析，克服传统算法方法的局限性，提升定量共聚焦显微镜的分析能力。
• 通过推广使用具有已知真实值的物理模拟合成训练数据，减少对人工标注数据集的依赖。
• 通过图形用户界面和可扩展的面向对象代码库，使非专家用户也能轻松使用深度学习，实现显微镜领域深度学习的普及化。
• 通过为特定实验设置量身定制的高效可部署深度学习模型，支持实时分析与反馈系统。

提出的方法

• DeepTrack 2.0 提供图形用户界面（GUI），使非程序员用户能够为共聚焦显微镜任务设计、训练和验证深度学习模型。
• 该框架支持使用物理模拟生成的合成数据进行端到端训练，确保定位、追踪和分类任务的精确真实值。
• 采用条件生成对抗网络（cGAN），其中生成器损失为 $ l_{\text{G}} = \nu \cdot \text{MAE}\{z_{\text{label}}, z_{\text{output}}\} + (1 - D(z_{\text{output}}))^2 $，判别器损失为 $ l_{\text{D}} = D(z_{\text{output}})^2 + (1 - D(z_{\text{label}}))^2 $，其中 $ D $ 为判别器网络。
• 使用 Adam 优化器进行模型训练，学习率为 0.0002，$ \beta_1 = 0.5 $，共训练 1000 个周期，每个周期包含 16 个批次。
• 在合成数据生成不可行时，框架通过实时图像变换进行数据增强，以扩展训练集。
• 该软件基于开源、面向对象的架构构建，支持可扩展性，便于社区贡献新模型和新功能。

Figure 1: Brief history of quantitative microscopy and particle tracking. A - B 1910–1950: The manual analysis era. A Examples of manually tracked trajectories of colloids in a suspension from Perrin’s experiment that convinced the world of the existence of atoms Perrin ( 1910 ) . The time resolutio

实验结果

研究问题

• RQ1 能否开发一种深度学习框架，使非专家用户能够为定量共聚焦显微镜构建准确、特定应用的模型？
• RQ2 具有已知真实值的合成训练数据在粒子追踪和细胞分析中，与传统算法方法相比，其性能优越程度如何？
• RQ3 基于 GUI 的深度学习平台在多大程度上能降低非编程背景研究人员在共聚焦显微镜图像分析领域的入门门槛？
• RQ4 DeepTrack 2.0 中的实时数据增强能否有效弥补复杂或罕见样本形态在合成数据生成方面的局限性？
• RQ5 深度学习在实现显微镜实验的实时反馈系统（如光镊控制或自适应成像）方面具有多大潜力？

主要发现

• DeepTrack 2.0 仅使用合成训练数据即可实现精确的粒子定位、追踪和表征，性能与传统算法方法相当或更优。
• 该框架基于 cGAN 的图像生成模型能够从分割掩码成功生成逼真的类细胞图像，尽管缺乏精细纹理细节，但其视觉相似性与真实实验数据高度一致。
• 使用具有精确真实值的合成数据可训练出在不同成像设置和操作者之间具有良好泛化能力的模型，克服了人工标注数据集的局限性。
• DeepTrack 2.0 的图形用户界面及开源、可扩展的架构显著降低了入门门槛，使编程经验极少的研究人员也能开发并部署深度学习模型。
• 该框架具备实现实时推理的潜力，为基于深度学习动态控制成像参数或光学力的闭环实验系统铺平了道路。
• 作者证明，物理模拟是解决显微镜深度学习中数据稀缺问题的可行且强大的方案，尤其适用于单粒子追踪等高精度任务。

Figure 2: Image segmentation with deep learning. A Lung cell classification and mutation prediction Coudray et al. ( 2018 ) , using Inception v3 Szegedy et al. ( 2015 ) : Non-overlapping tiles in the input are analyzed, returning a low-resolution segmentation mask, containing either just a binary cl