[论文解读] TTVOS: Lightweight Video Object Segmentation with Adaptive Template Attention Module and Temporal Consistency Loss

Hyojin Park, Ganesh Venkatesh+1 more|arXiv (Cornell University)|Nov 9, 2020

Visual Attention and Saliency Detection参考文献 46被引用 4

一句话总结

TTVOS 提出了一种轻量级的半监督视频实例分割模型，通过短时和长时匹配的自适应模板匹配方法，在速度与精度之间实现平衡。它引入了一种基于转移矩阵的时序一致性损失，以减少错误传播，在 DAVIS16 上实现了 79.5% 的 J&F 分数，推理速度达 73.8 FPS，优于以往的快速方法，同时保持了高效率。

ABSTRACT

Semi-supervised video object segmentation (semi-VOS) is widely used in many applications. This task is tracking class-agnostic objects from a given target mask. For doing this, various approaches have been developed based on online-learning, memory networks, and optical flow. These methods show high accuracy but are hard to be utilized in real-world applications due to slow inference time and tremendous complexity. To resolve this problem, template matching methods are devised for fast processing speed but sacrificing lots of performance in previous models. We introduce a novel semi-VOS model based on a template matching method and a temporal consistency loss to reduce the performance gap from heavy models while expediting inference time a lot. Our template matching method consists of short-term and long-term matching. The short-term matching enhances target object localization, while long-term matching improves fine details and handles object shape-changing through the newly proposed adaptive template attention module. However, the long-term matching causes error-propagation due to the inflow of the past estimated results when updating the template. To mitigate this problem, we also propose a temporal consistency loss for better temporal coherence between neighboring frames by adopting the concept of a transition matrix. Our model obtains 79.5% J&F score at the speed of 73.8 FPS on the DAVIS16 benchmark. The code is available in https://github.com/HYOJINPARK/TTVOS.

研究动机与目标

• 解决半监督视频实例分割（semi-VOS）中推理速度与精度之间的权衡问题。
• 缓解因在长时模板更新中使用历史预测掩码而导致的错误传播问题。
• 在不依赖光流或重型记忆网络的前提下，提升掩码质量与时序一致性。
• 开发一种快速、准确且轻量的模型，适用于实际部署。

提出的方法

• 提出双匹配机制：利用前一帧进行短时匹配以实现定位，同时使用自适应模板实现长时匹配，以保留细粒度细节。
• 提出一种自适应模板注意力模块，无需重新提取特征或使用额外内存，即可从当前预测掩码更新长时模板。
• 设计一种基于转移矩阵的新时序一致性损失，用于纠正先前帧中错误预测的像素，防止错误传播。
• 采用轻量级主干网络（如 ResNet18），结合交叉熵损失与所提出的时序一致性损失，实现高效训练。
• 利用转移矩阵建模帧间像素级状态转移，鼓励纠正误报和漏报。
• 将时序一致性损失应用于其他模型（如 FRTM-VOS），证明其通用性与在提升精度方面的有效性。

实验结果

研究问题

• RQ1 基于模板的方法是否能在半监督 VOS 中实现高精度的同时保持快速推理速度？
• RQ2 在长时模板跟踪中，如何缓解来自历史预测的错误传播问题？
• RQ3 基于转移矩阵的时序一致性损失是否能在不使用光流的情况下提升掩码的时序一致性？
• RQ4 所提出的自适应模板注意力模块是否在处理形状变化方面优于固定模板或全局上下文模板？
• RQ5 所提出的时序一致性损失是否可泛化以提升其他轻量级 VOS 模型的性能？

主要发现

• TTVOS 在 DAVIS16 基准上实现了 79.5% 的 J&F 分数，推理速度达 73.8 FPS，展现出高精度与低计算成本的结合。
• 消融实验表明，结合短时与长时匹配（实验6）的性能最佳，优于仅使用单一匹配方式的模型。
• 在 FRTM-VOS（使用 ResNet18）上应用时序一致性损失后，DAVIS16 上精度提升 1.7%，DAVIS17 上提升 1.6%。
• 与仅使用长时匹配相比，该模型在多目标跟踪场景中更好地保持了目标身份，降低了失败率（在 DAVIS17 上得到验证）。
• 自适应模板更新机制在不增加特征提取或内存开销的前提下，提升了掩码质量。
• 时序一致性损失显著减少了错误传播，尤其在轻量级模型中，通过纠正前一帧的错误预测实现。