[论文解读] Temporally Constrained Neural Networks (TCNN): A framework for semi-supervised video semantic segmentation

Deepak Alapatt, Pietro Mascagni+8 more|arXiv (Cornell University)|Dec 27, 2021

Colorectal Cancer Screening and Detection被引用 5

一句话总结

该论文提出时序约束神经网络（TCNN），一种用于视频语义分割的半监督框架，通过基于自编码器的时空正则化提升在标注数据有限的外科视频数据集上的性能。通过引入从低维掩码表示中衍生的全局损失和一致性损失，TCNN 在不增加推理成本的前提下提升了分割精度，尤其在罕见类别上表现显著，其在 Endoscapes 数据集的 Cystic Plate 类上实现了高达 6.6% 的 F1 值提升。

ABSTRACT

A major obstacle to building models for effective semantic segmentation, and particularly video semantic segmentation, is a lack of large and well annotated datasets. This bottleneck is particularly prohibitive in highly specialized and regulated fields such as medicine and surgery, where video semantic segmentation could have important applications but data and expert annotations are scarce. In these settings, temporal clues and anatomical constraints could be leveraged during training to improve performance. Here, we present Temporally Constrained Neural Networks (TCNN), a semi-supervised framework used for video semantic segmentation of surgical videos. In this work, we show that autoencoder networks can be used to efficiently provide both spatial and temporal supervisory signals to train deep learning models. We test our method on a newly introduced video dataset of laparoscopic cholecystectomy procedures, Endoscapes, and an adaptation of a public dataset of cataract surgeries, CaDIS. We demonstrate that lower-dimensional representations of predicted masks can be leveraged to provide a consistent improvement on both sparsely labeled datasets with no additional computational cost at inference time. Further, the TCNN framework is model-agnostic and can be used in conjunction with other model design choices with minimal additional complexity.

研究动机与目标

• 解决在微创手术中精细解剖结构的大型、高质量标注外科视频数据集稀缺的问题。
• 利用外科视频中的时序与解剖约束，在仅提供稀疏标注的情况下提升分割性能。
• 开发一种与模型无关的框架，可在不增加推理时计算成本的前提下增强现有视频语义分割模型。
• 在动态与外观差异较大的多种外科手术中（如腹腔镜胆囊切除术和白内障手术）验证方法的泛化能力。

提出的方法

• 使用自编码器学习预测分割掩码的低维紧凑表征，作为监督信号。
• 引入全局损失，惩罚重构掩码与原始预测掩码之间的偏差，以强制结构一致性。
• 应用一致性损失，通过最小化连续帧预测之间的变化来促进时序稳定性。
• 将自编码器与损失组件作为即插即用模块集成到视频语义分割流程中，与主干网络架构无关。
• 端到端联合训练分割网络，结合交叉熵损失、全局损失与一致性损失，并在验证集上调整超参数。
• 利用自编码器的瓶颈层提取紧凑特征，对模型输出空间进行正则化，提升对噪声和伪影（如烟雾或遮挡）的鲁棒性。

实验结果

研究问题

• RQ1 基于自编码器的预测分割掩码重建能否为半监督视频语义分割提供有效的监督信号？
• RQ2 在稀疏标注的外科视频数据集中，引入时序一致性与全局结构正则化能在多大程度上提升性能？
• RQ3 TCNN 框架是否能在视觉动态与解剖复杂度各异的多种外科手术中实现良好泛化？
• RQ4 所提方法是否能在不增加推理时间或计算成本的前提下，提升罕见或难以检测解剖结构的分割性能？

主要发现

• 在 Endoscapes 和 CaDIS 数据集上，TCNN 分别相对于 Image Predictor 实现了平均 2.6% 和 1.9% 的 F1 值提升。
• 加入全局损失与一致性损失后，Endoscapes 和 CaDIS 中代表性最差的三个类别分别实现了 4.3% 和 1.4% 的平均 F1 值增益。
• 在 Endoscapes 数据集的 Cystic Plate 类上，TCNN 相较 Video Predictor 实现了 6.6% 的 F1 值提升，表明全局结构约束具有显著优势。
• 全局损失在 Endoscapes 和 CaDIS 上分别使 Video Predictor 的 F1 值提升 1.48% 和 0.32%，但对 Image Predictor 略有劣化，表明其有效性在时序上下文存在时被显著增强。
• 一致性损失在两个数据集上均带来稳定性能增益，并与全局损失产生协同效应。
• 定性结果表明，TCNN 有效减少了不合理的预测（如孤立的斑点或解剖上不可能的结构），提升了时序一致性，并增强了对烟雾与遮挡的鲁棒性。