[论文解读] Quantitative evaluation of methods to analyze motion changes in single-particle experiments

Gorka Muñoz, Harshith Bachimanchi+34 more|arXiv (Cornell University)|Nov 29, 2023

Advanced Fluorescence Microscopy Techniques被引用 10

一句话总结

本文提出两轨道的 AnDi Challenge 2，用于基准检测和表征单粒子轨迹中扩散行为变化的方法，使用基于模拟的 FBM 数据集和详细的评分框架。

ABSTRACT

The analysis of live-cell single-molecule imaging experiments can reveal valuable information about the heterogeneity of transport processes and interactions between cell components. These characteristics are seen as motion changes in the particle trajectories. Despite the existence of multiple approaches to carry out this type of analysis, no objective assessment of these methods has been performed so far. Here, we report the results of a competition to characterize and rank the performance of these methods when analyzing the dynamic behavior of single molecules. To run this competition, we implemented a software library that simulates realistic data corresponding to widespread diffusion and interaction models, both in the form of trajectories and videos obtained in typical experimental conditions. The competition constitutes the first assessment of these methods, providing insights into the current limitations of the field, fostering the development of new approaches, and guiding researchers to identify optimal tools for analyzing their experiments.

研究动机与目标

• 在生物学背景下激励对检测单粒子轨迹中运动变化的方法进行客观评估。
• 提供具有多种扩散模型和相互作用情景的真实标签数据集，用于方法基准测试。
• 通过组织开放竞赛并设定清晰的评分指标，促进跨学科发展。

提出的方法

• 开发一个开源软件库 (andi-datasets)，在若干相互作用模型中，通过分段常量参数模拟逼真的二维扩散。
• 基于分数量子布朗运动生成数据集，以产生 SSM、MSM、DIM、TCM 和 QTM 的运动场景。
• 将挑战分为 Track 1（原始视频）和 Track 2（轨迹），并包含集成和单轨迹预测任务。
• 为评估定义真实模型、状态数以及广义扩散系数 K 和异常指数 α 的分布。
• 采用客观度量，包括用于集合属性的 Wasserstein 距离、用于 CP 检测的 Jaccard 相似度和 RMSE、K 的 MSLE、α 的 MAE，以及扩散类型分类的 F1 分数。

Figure 1: Rationale for the challenge organization. a , The interactions of biomolecules in complex environments, such as the cell membrane, regulate physiological processes in living systems. These interactions produce changes in molecular motion that can be used as a proxy to measure interaction p

实验结果

研究问题

• RQ1 当前方法是否能够在集合数据中准确识别潜在的扩散模型及状态数量？
• RQ2 方法在各状态间估计扩散参数分布（K）和异常指数（α）的准确性如何？
• RQ3 单轨迹变点检测是否能可靠地分割轨迹并恢复区段参数（K、α）及扩散类型？
• RQ4 分析原始视频与提取轨迹在检测扩散变化方面的性能比较如何？

主要发现

• 竞赛设计使对异质扩散分析方法进行客观基准测试成为可能。
• 一个专门的 Python 包 (andi-datasets) 在多种扩散-相互作用模型下生成用于训练和评估的真实数据集。
• 真实标签与综合评分框架耦合，在各任务中使用 Wasserstein 距离、Jaccard 相似性、RMSE、MSLE、MAE 和 F1-score。
• 数据集被组织为实验和视场，Track 1 使用 200 帧视频，Track 2 使用轨迹表，且均在固定的 128x128 像素区域内。
• 预测可以覆盖集合级参数和单轨迹 CP，允许部分提交，按平均倒数排名（mean reciprocal rank）进行排序。

Figure 2: Physical models of interaction and structure of the simulated datasets. a , Examples of 2-dimensional trajectories undergoing interactions inducing changes in their motion. From left to right: single-state model ( SSM ) without changes of diffusion; multi-state model ( MSM ) with time-depe