[论文解读] ST-MTL: Spatio-Temporal Multitask Learning Model to Predict Scanpath While Tracking Instruments in Robotic Surgery

Mobarakol Islam, Vibashan VS+2 more|PubMed|Dec 10, 2021

Surgical Simulation and Training参考文献 56被引用 7

一句话总结

该论文提出ST-MTL，一种端到端的时空多任务学习模型，可联合执行机器人外科手术中的实时手术器械分割与任务感知显著性检测。通过引入异步时空优化（ASTO）、竞争性挤压-激励模块（SC-scSE）以及改进的ConvLSTM++以实现长程时序建模，该模型在MICCAI 2017机器人器械分割挑战赛中取得最先进性能，其二值分割与类型分割指标均优于整体优胜者。

ABSTRACT

Representation learning of the task-oriented attention while tracking instrument holds vast potential in image-guided robotic surgery. Incorporating cognitive ability to automate the camera control enables the surgeon to concentrate more on dealing with surgical instruments. The objective is to reduce the operation time and facilitate the surgery for both surgeons and patients. We propose an end-to-end trainable Spatio-Temporal Multi-Task Learning (ST-MTL) model with a shared encoder and spatio-temporal decoders for the real-time surgical instrument segmentation and task-oriented saliency detection. In the MTL model of shared-parameters, optimizing multiple loss functions into a convergence point is still an open challenge. We tackle the problem with a novel asynchronous spatio-temporal optimization (ASTO) technique by calculating independent gradients for each decoder. We also design a competitive squeeze and excitation unit by casting a skip connection that retains weak features, excites strong features, and performs dynamic spatial and channel-wise feature recalibration. To capture better long term spatio-temporal dependencies, we enhance the long-short term memory (LSTM) module by concatenating high-level encoder features of consecutive frames. We also introduce Sinkhorn regularized loss to enhance task-oriented saliency detection by preserving computational efficiency. We generate the task-aware saliency maps and scanpath of the instruments on the dataset of the MICCAI 2017 robotic instrument segmentation challenge. Compared to the state-of-the-art segmentation and saliency methods, our model outperforms most of the evaluation metrics and produces an outstanding performance in the challenge.

研究动机与目标

• 通过基于预测扫描路径建模的自动内窥镜摄像机控制，减轻机器人外科手术中医生的工作负荷。
• 解决共享编码器多任务学习在手术视频分析中多任务收敛的挑战。
• 提升在复杂、动态的外科环境中对显著性与分割任务的长程时空特征学习能力。
• 生成模拟人类视觉注意力的、与任务相关的显著性图与扫描路径。
• 在MICCAI 2017机器人器械分割基准上超越最先进方法。

提出的方法

• 该模型采用共享编码器，并配备两个针对特定任务的解码器，分别用于手术器械分割与显著性检测。
• 异步时空优化（ASTO）为每个解码器独立计算梯度，即使在共享参数下也能实现稳定的多任务收敛。
• 竞争性挤压-激励（SC-scSE）模块通过跳跃连接动态重校准空间与通道特征，增强特征表示能力。
• ConvLSTM++通过在LSTM输入前连接连续帧的高层编码器特征，提升长程时序依赖建模能力。
• 采用融合损失函数，结合二值交叉熵（BCE）与Sinkhorn距离（Sd），在保持计算效率的同时增强扫描路径估计性能。
• 模型在MICCAI 2017机器人器械分割数据集上进行训练与评估，并在SALICON上进行显著性性能验证。

实验结果

研究问题

• RQ1 共享编码器多任务学习框架能否在实时条件下有效预测手术器械分割与任务感知显著性？
• RQ2 在分割与显著性任务之间共享参数进行优化时，如何改善多任务收敛性？
• RQ3 引入长程时空依赖关系在多大程度上能提升扫描路径预测的准确性？
• RQ4 与标准挤压-激励模块相比，竞争性特征重校准机制（SC-scSE）能否显著提升模型性能？
• RQ5 在手术视频分析中，BCE与Sinkhorn距离损失的融合是否优于标准损失函数，实现更优的显著性检测？

主要发现

• ST-MTL模型在MICCAI 2017机器人器械分割挑战赛的二值分割与类型分割指标上，均优于整体优胜者。
• ASTO有效解决了多任务收敛问题，实现了共享编码器与独立解码器优化的稳定训练。
• SC-scSE模块通过跳跃连接突出强特征并保留弱特征，显著提升了特征区分能力。
• ConvLSTM++增强了长程时序建模，显著提升了任务导向的显著性与扫描路径预测性能。
• 融合BCE与Sinkhorn距离（Sd）的损失函数在保持高计算效率的同时实现优异性能，推理速度优于批量Wasserstein损失。
• 在SALICON基准上，模型在AUC-B（0.821）、sAUC（0.752）与CC（0.718）指标上表现优异，展现出在静态显著性任务上的强大泛化能力。