[论文解读] Neural Non-Rigid Tracking

Bo\v{z}i\v{c}, Alja\v{z}, Pablo Palafox+4 more|arXiv (Cornell University)|Jun 23, 2020

Photoacoustic and Ultrasonic Imaging被引用 19

一句话总结

本文提出神经非刚性追踪（Neural Non-Rigid Tracking），一种端到端可微分框架，联合学习密集对应关系预测与置信度加权，用于非刚性RGB-D追踪。通过反向传播梯度穿过可微分高斯-牛顿求解器，该方法实现自监督异常值剔除，相比先前基于学习的方法，推理速度提升85倍，且重建精度达到最先进水平。

ABSTRACT

We introduce a novel, end-to-end learnable, differentiable non-rigid tracker that enables state-of-the-art non-rigid reconstruction by a learned robust optimization. Given two input RGB-D frames of a non-rigidly moving object, we employ a convolutional neural network to predict dense correspondences and their confidences. These correspondences are used as constraints in an as-rigid-as-possible (ARAP) optimization problem. By enabling gradient back-propagation through the weighted non-linear least squares solver, we are able to learn correspondences and confidences in an end-to-end manner such that they are optimal for the task of non-rigid tracking. Under this formulation, correspondence confidences can be learned via self-supervision, informing a learned robust optimization, where outliers and wrong correspondences are automatically down-weighted to enable effective tracking. Compared to state-of-the-art approaches, our algorithm shows improved reconstruction performance, while simultaneously achieving 85 times faster correspondence prediction than comparable deep-learning based methods. We make our code available.

研究动机与目标

• 为解决单目RGB-D相机实时、鲁棒的非刚性追踪挑战，其中传统优化方法脆弱，而深度学习方法计算成本高。
• 通过自监督方式学习对应关系置信度，提升重建精度，降低异常值和错误对应关系的影响。
• 通过对优化过程进行反向传播，实现非刚性追踪器的端到端训练，使梯度能够同时指导对应关系预测与置信度加权。
• 在保持或提升重建质量的同时，实现接近实时的性能，优于如DeepDeform等最先进方法。

提出的方法

• 该方法将非刚性追踪建模为基于源帧与目标帧之间密集2D对应关系的尽可能刚性（as-rigid-as-possible, ARAP）优化问题。
• 可微分高斯-牛顿求解器使非线性最小二乘优化过程可反向传播，使梯度能够流向神经对应关系预测网络。
• 网络同时预测对应关系及其置信度权重，这些权重通过最小化端到端对齐误差的自监督损失进行优化。
• 损失函数结合了对应关系损失（Lcorr）、图正则化（Lgraph）和形变一致性损失（Lwarp），置信度权重通过来自可微分优化器的梯度反馈学习。
• 该框架可与体素重建流水线（如DynamicFusion）集成，利用学习到的形变场将深度观测结果整合到规范3D网格中。
• 采用多阶段策略进行端到端训练：首先使用固定置信度权重预训练对应关系网络，随后联合微调网络与置信度参数。

实验结果

研究问题

• RQ1 端到端可微分优化是否能通过向对应关系预测网络提供梯度反馈，从而提升非刚性追踪性能？
• RQ2 自监督置信度加权是否能在噪声或遮挡条件下优于监督或固定加权方式，从而增强非刚性追踪的鲁棒性？
• RQ3 可微分非刚性追踪器是否能在保持或提升重建精度的同时，实现接近实时的性能？
• RQ4 对应关系预测与置信度加权的联合优化在多大程度上能降低追踪误差并提升重建保真度？

主要发现

• 所提方法相比DeepDeform（2299 ms/关键帧）将对应关系预测速度提升85倍（仅27 ms/关键帧），实现交互式重建速率。
• 通过自监督置信度加权与端到端训练，该方法在DeepDeform基准测试中将形变误差降低至28.72 mm，相比之前最先进方法提升8.9%。
• 可微分优化与自监督置信度学习的结合使几何误差降低至4.03 mm，优于之前最先进水平（4.16 mm）。
• 消融研究证实，可微分优化器与自监督置信度加权均不可或缺，任一模块禁用均导致性能显著下降。
• 在快速运动与遮挡场景中，该方法表现出更优的鲁棒性，在定性比较中优于DynamicFusion与DeepDeform。
• 自监督置信度学习策略优于监督替代方案，因为优化过程的梯度能比二元交叉熵监督更有效地指导置信度网络。