[论文解读] Multicolor localization microscopy by deep learning

Eran Hershko, Lucien E. Weiss+2 more|arXiv (Cornell University)|Jul 4, 2018

Advanced Fluorescence Microscopy Techniques参考文献 39被引用 3

一句话总结

本文提出一种深度学习方法，利用标准灰度相机实现多色定位显微镜，无需光谱滤波器或复杂光学元件。通过利用点扩散函数的色度依赖性，该方法在静态和移动条件下均能准确分类单发射体的颜色，且通过学习的相位调制元件可进一步提升色分辨率。

ABSTRACT

Deep learning has become an extremely effective tool for image classification and image restoration problems. Here, we apply deep learning to microscopy, and demonstrate how neural networks can exploit the chromatic dependence of the point-spread function to classify the colors of single emitters imaged on a grayscale camera. While existing single-molecule methods for spectral classification require additional optical elements in the emission path, e.g. spectral filters, prisms, or phase masks, our neural net correctly identifies static as well as mobile emitters with high efficiency using a standard, unmodified single-channel configuration. Furthermore, we demonstrate how deep learning can be used to design phase-modulating elements that, when implemented into the imaging path, result in further improved color differentiation between species.

研究动机与目标

• 在无需额外光谱光学组件的情况下实现多色单分子定位显微镜。
• 仅使用灰度相机的强度数据对单发射体颜色进行分类。
• 开发一种深度学习框架，利用点扩散函数中的色度变化实现颜色区分。
• 通过学习设计相位调制元件，进一步增强成像路径中的颜色区分能力。

提出的方法

• 训练卷积神经网络，基于灰度相机上的强度图案对单发射体颜色进行分类。
• 该方法利用点扩散函数在不同发射波长下的固有色度依赖性。
• 网络在具有不同颜色和位置的单发射体模拟数据上进行训练，以实现对静态和移动发射体的泛化。
• 采用可微分设计框架，优化相位调制元件以增强成像系统中的光谱分离。
• 训练好的神经网络被部署于标准单通道显微镜系统中，无需硬件修改。
• 相位掩模与网络协同设计，以最大化颜色分类准确率。

实验结果

研究问题

• RQ1 深度学习能否仅使用灰度强度数据准确分类单发射体的颜色？
• RQ2 该方法能否在无光谱滤波器的情况下，区分多种颜色下的静态与移动发射体？
• RQ3 学习得到的相位调制元件能否将色分辨率提升至超过标准成像配置的水平？
• RQ4 点扩散函数中的色度变化如何在单通道系统中实现颜色分类？

主要发现

• 深度学习模型仅使用灰度相机即可实现对单发射体的高精度颜色分类，无需额外光谱光学元件。
• 该方法能高效分类静态和移动发射体，表现出对运动的强鲁棒性。
• 神经网络仅通过强度图案即可利用点扩散函数的色度依赖性推断发射体颜色。
• 学习得到的相位调制元件显著提升了颜色区分能力，增强了系统的光谱分辨率。
• 该方法可在标准、未经修改的单通道成像系统中实现多色定位显微镜。