[论文解读] Video and Accelerometer-Based Motion Analysis for Automated Surgical Skills Assessment

Aneeq Zia, Yachna Sharma+3 more|arXiv (Cornell University)|Feb 24, 2017

Surgical Simulation and Training被引用 4

一句话总结

本文提出基于熵的特征——近似熵（ApEn）与交叉近似熵（XApEn）——利用视频和加速度计数据评估外科技能，其在自动化OSATS评估中优于现有的DCT、DFT和SMT方法。将视频与加速度计特征融合后，结合ApEn+XApEn可实现最高准确率，展现出在缝合与打结任务中的卓越性能。

ABSTRACT

Purpose: Basic surgical skills of suturing and knot tying are an essential part of medical training. Having an automated system for surgical skills assessment could help save experts time and improve training efficiency. There have been some recent attempts at automated surgical skills assessment using either video analysis or acceleration data. In this paper, we present a novel approach for automated assessment of OSATS based surgical skills and provide an analysis of different features on multi-modal data (video and accelerometer data). Methods: We conduct the largest study, to the best of our knowledge, for basic surgical skills assessment on a dataset that contained video and accelerometer data for suturing and knot-tying tasks. We introduce "entropy based" features - Approximate Entropy (ApEn) and Cross-Approximate Entropy (XApEn), which quantify the amount of predictability and regularity of fluctuations in time-series data. The proposed features are compared to existing methods of Sequential Motion Texture (SMT), Discrete Cosine Transform (DCT) and Discrete Fourier Transform (DFT), for surgical skills assessment. Results: We report average performance of different features across all applicable OSATS criteria for suturing and knot tying tasks. Our analysis shows that the proposed entropy based features out-perform previous state-of-the-art methods using video data. For accelerometer data, our method performs better for suturing only. We also show that fusion of video and acceleration features can improve overall performance with the proposed entropy features achieving highest accuracy. Conclusions: Automated surgical skills assessment can be achieved with high accuracy using the proposed entropy features. Such a system can significantly improve the efficiency of surgical training in medical schools and teaching hospitals.

研究动机与目标

• 开发一种稳健的自动化系统以评估外科技能，减少对外科专家人工评估的依赖。
• 解决现有方法仅关注运动重复性而忽略外科动作中不规则性与可预测性的局限性。
• 评估基于熵的特征在多模态数据（视频与加速度计）上用于OSATS基准外科技能评估的性能。
• 在大规模数据集上，将所提出的熵特征与DCT、DFT、SMT及运动纹理技术等成熟方法进行比较。
• 探究视频与加速度计特征早期融合在提升评估准确率方面的有效性。

提出的方法

• 提出近似熵（ApEn）与交叉近似熵（XApEn）作为新型特征，用于量化来自视频与加速度计传感器的时间序列运动数据的规律性与可预测性。
• 将这些基于熵的特征应用于缝合与打结任务的外科运动序列，以捕捉反映技能水平的非重复性、不规则运动模式。
• 将熵特征与现有方法（顺序运动纹理SMT、离散余弦变换DCT、离散傅里叶变换DFT）进行对比。
• 采用早期融合策略，通过拼接视频与加速度计特征，以利用两种模态之间的互补信息。
• 使用54个缝合样本与62个打结样本，数据包含同步的视频与加速度计信息，确保模态间对齐。
• 采用2、5与10折交叉验证方案，评估在不同训练数据规模下的鲁棒性。

实验结果

研究问题

• RQ1 基于熵的特征（ApEn与XApEn）是否能在自动化外科技能评估中超越传统频域与运动纹理特征？
• RQ2 在评估OSATS标准时，基于视频的特征与基于加速度计的特征相比表现如何？
• RQ3 视频与加速度计特征的早期融合是否能提升外科技能评估的整体分类准确率？
• RQ4 所提出的基于熵的特征在不同训练数据规模下（通过交叉验证方案衡量）的鲁棒性如何？
• RQ5 相较于聚焦于重复性的方法（如DFT、DCT），熵特征是否更能捕捉与技能相关的运动不规则性？

主要发现

• 当使用融合的视频与加速度计数据时，所提出的ApEn+XApEn特征在缝合任务中达到93.9% ± 3.7的平均准确率，在打结任务中达到94.0% ± 2.8的平均准确率，表现最优。
• 所有特征类型中，仅使用视频数据的表现优于仅使用加速度计数据，其中DCT在缝合任务中达到90.6% ± 3.1，在打结任务中达到91.7% ± 6.1。
• 视频与加速度计数据的融合提升了ApEn+XApEn的性能（缝合任务93.2%，打结任务94.0%），但导致DCT与DFT性能下降。
• ApEn+XApEn特征在不同交叉验证方案（2、5、10折）中表现出更优的鲁棒性，始终优于DCT与DFT。
• 基于熵的特征展现出更强的泛化能力与对运动不规则性的敏感性，表明其在非重复性外科任务中更具适用性。
• 本研究为迄今规模最大的同类分析，采用62个缝合样本与54个打结样本，数据为同步的多模态信息。