[论文解读] Neural Feature Fusion Fields: 3D Distillation of Self-Supervised 2D Image Representations

Vadim Tschernezki, Iro Laina+2 more|arXiv (Cornell University)|Sep 7, 2022

Advanced Vision and Imaging被引用 5

一句话总结

Neural Feature Fusion Fields (N3F) 通过可微分渲染，将自监督的 2D 图像特征蒸馏到 3D 神经辐射场中，实现了无需 3D 标注的视角不变、遮挡感知的语义理解。该方法显著提升了自监督 2D 特征在 3D 任务（如物体检索、分割和场景编辑）中的性能，且在包括第一视角视频在内的多种场景中，始终优于 2D 教师网络。

ABSTRACT

We present Neural Feature Fusion Fields (N3F), a method that improves dense 2D image feature extractors when the latter are applied to the analysis of multiple images reconstructible as a 3D scene. Given an image feature extractor, for example pre-trained using self-supervision, N3F uses it as a teacher to learn a student network defined in 3D space. The 3D student network is similar to a neural radiance field that distills said features and can be trained with the usual differentiable rendering machinery. As a consequence, N3F is readily applicable to most neural rendering formulations, including vanilla NeRF and its extensions to complex dynamic scenes. We show that our method not only enables semantic understanding in the context of scene-specific neural fields without the use of manual labels, but also consistently improves over the self-supervised 2D baselines. This is demonstrated by considering various tasks, such as 2D object retrieval, 3D segmentation, and scene editing, in diverse sequences, including long egocentric videos in the EPIC-KITCHENS benchmark.

研究动机与目标

• 通过将自监督 2D 图像特征蒸馏到 3D 神经场表示中，提升其在 3D 任务中的一致性和鲁棒性。
• 仅利用 2D 图像特征和多视角几何，实现无需人工 3D 标注的 3D 场景语义理解。
• 通过将 2D 自监督特征（如 DINO）融合到 3D 场景表示中，拓展其在 2D 之外的应用，支持 3D 意义的任务。
• 证明将特征蒸馏到 3D 神经场可提升特征质量，尤其在视角变化、遮挡和动态场景条件下表现更优。
• 仅使用 2D 视觉查询和 3D 场景重建，实现新型 3D 能力，如全模态分割和场景编辑。

提出的方法

• N3F 采用学生-教师蒸馏框架，其中 2D 自监督特征提取器（如 DINO）作为教师，3D 神经辐射场（学生）学习复现其特征。
• 3D 学生网络通过可微分渲染进行训练，使梯度能从 2D 图像特征反向传播至 3D 坐标，从而强制实现多视角一致性。
• 通过最小化渲染视图中提取的 2D 特征与教师网络对应特征之间的 L2 损失，实现特征蒸馏。
• 该方法通过 NeRF 风格的隐式表示融合 3D 几何与外观，实现 3D 意义的特征传播与渲染。
• 该框架兼容多种神经渲染模型，包括原始 NeRF 和动态场景扩展（如 NeuralDiff）。
• 支持通过 2D 查询进行 3D 推理：给定 2D 区域，可在 3D 空间中匹配特征，以实现物体检索、分割或编辑。

实验结果

研究问题

• RQ1 将 2D 自监督特征蒸馏到 3D 神经场是否能提升其在视角变化和遮挡下的特征一致性与鲁棒性？
• RQ2 3D 意义的特征表示在多大程度上支持超越 2D 的任务，如 3D 物体分割和全模态补全？
• RQ3 N3F 如何在具有动态场景和视角变化的挑战性第一视角视频序列中提升 2D 特征性能？
• RQ4 3D 蒸馏特征是否能在无显式 3D 监督的情况下支持场景编辑和图像修复？
• RQ5 将 2D 特征融合到 3D 空间是否在开放世界、零样本设置下，比 2D 教师模型具有更好的泛化能力？

主要发现

• N3F 显著提升了 2D 自监督特征在 3D 物体检索中的性能，其准确率高于 2D 教师网络，尤其在大视角变化和遮挡条件下表现更优。
• 该方法无需任何 3D 标注即可实现 3D 物体分割和全模态分割，生成的分割结果比 2D 教师网络更完整、更准确。
• 在场景编辑任务中，N3F 生成的背景修复比 NeRF-N3F 更为真实，因其利用了多视角观测带来的整体场景知识。
• 在 EPIC-KITCHENS 基准测试中，N3F 在长第一视角视频序列中的一次性物体检索任务上优于 2D DINO，展现出对外观变化和动态场景的强鲁棒性。
• 3D 蒸馏特征比原始 2D 特征更具视角不变性与遮挡感知能力，如在不同相机角度下均保持一致的特征匹配。
• 即使对于细长或部分可见的物体（如切菜板），由于神经场提供的 3D 意识，N3F 也能恢复比 2D 教师更完整的 3D 几何与分割结果。