[论文解读] Multiview Supervision By Registration

Yilun Zhang, Hyun Soo Park|arXiv (Cornell University)|Nov 27, 2018

Video Surveillance and Tracking Methods参考文献 36被引用 6

一句话总结

该论文提出了一种新颖的半监督关键点检测框架，利用多视角几何与时间跟踪技术，在仅使用极少标注数据（<4%）的情况下训练出高精度检测器。通过整合跨视角对极几何约束、基于光流的时间监督以及跨视角的可见性一致性，该方法采用可微分的端到端网络，包含三条路径，显著提升了对小鼠、猴子和狗等非人类动物的关键点检测精度，优于基线半监督方法以及无需预训练的DeepLabCut。

ABSTRACT

This paper presents a semi-supervised learning framework to train a keypoint detector using multiview image streams given the limited labeled data (typically $

研究动机与目标

• 解决在有限标注数据（<4%）和高姿态变化条件下，为非人类动物训练高精度关键点检测器的挑战。
• 利用多视角图像流提供自监督信号，无需3D重建或预训练模型。
• 提升对自由活动动物行为中自遮挡和大姿态变化的鲁棒性。
• 开发一种灵活的端到端深度学习框架，整合跨视角与帧间的一致性。

提出的方法

• 该方法采用多路径神经网络架构，联合优化关键点检测、可见性预测以及跨视角的几何一致性。
• 通过对极几何施加跨视角监督，确保某一视角中检测到的关键点位于另一视角对应点的对极线上。
• 利用光流施加时间监督，对齐连续帧之间的关键点预测，强制实现时间上的平滑运动。
• 通过相机空间邻近性传播可见性图，实现可见性监督，减少遮挡期间的误检。
• 框架结合了四种可微分损失：标签损失（在标注数据上）、跨视角损失（对极一致性）、跟踪损失（光流对齐）和可见性损失（空间一致性）。
• 该系统与网络架构无关，可与任何输出概率图的关键点检测网络集成，如DeepLabCut或Hourglass。

实验结果

研究问题

• RQ1 能否利用多视角几何在无需3D重建的情况下，为关键点检测提供有效的自监督？
• RQ2 通过光流实现的时间一致性如何在存在运动与遮挡的情况下提升关键点检测性能？
• RQ3 能否从相邻视角预测可见性图，以提升自遮挡期间的检测鲁棒性？
• RQ4 结合跨视角、时间与可见性监督是否能优于单独使用任一信号？
• RQ5 该框架能否在标注数据有限且姿态变化剧烈的非人类动物上实现良好泛化？

主要发现

• 所提方法在Human数据集上达到95.1% PCKh，在Dog数据集上达到94.8% AUC，分别优于仅使用时间监督的3.4%和仅使用跨视角监督的16.4%（AUC）。
• 可见性监督使时间监督在Human数据集上提升1.8% AUC，在Dog数据集上提升2.65% AUC。
• 数据增强使跨视角监督在Human数据集上提升16.6% AUC，在Dog数据集上提升13.9% AUC。
• 在姿态变化剧烈的猴子数据集上，该方法仅使用10帧标注数据即比DeepLabCut高出15%，展现出对显著外观变化的卓越鲁棒性。
• 该方法在未见受试者上泛化良好：在Dance 2（Panoptic Studio）和Greeting（Human3.6M）上，当在不同运动序列上进行训练时，性能依然强劲。
• 消融实验确认，跨视角、时间、可见性与自举监督的完整组合带来最佳性能，各组件均对精度有显著贡献。