[论文解读] Neural Fields in Visual Computing and Beyond

Yiheng Xie, Towaki Takikawa+8 more|arXiv (Cornell University)|Nov 22, 2021

Advanced Vision and Imaging参考文献 263被引用 5

一句话总结

本文对视觉计算中的神经场进行了全面的、由社区驱动的综述，综合了超过250篇论文，统一了技术与应用。它形式化了神经场的组成部分——表示、条件、前向映射和架构，同时推出了一个持续更新的网站，用于对3D重建、生成建模、机器人学等领域的研究进行持续整理与分类。

ABSTRACT

Recent advances in machine learning have created increasing interest in solving visual computing problems using a class of coordinate-based neural networks that parametrize physical properties of scenes or objects across space and time. These methods, which we call neural fields, have seen successful application in the synthesis of 3D shapes and image, animation of human bodies, 3D reconstruction, and pose estimation. However, due to rapid progress in a short time, many papers exist but a comprehensive review and formulation of the problem has not yet emerged. In this report, we address this limitation by providing context, mathematical grounding, and an extensive review of literature on neural fields. This report covers research along two dimensions. In Part I, we focus on techniques in neural fields by identifying common components of neural field methods, including different representations, architectures, forward mapping, and generalization methods. In Part II, we focus on applications of neural fields to different problems in visual computing, and beyond (e.g., robotics, audio). Our review shows the breadth of topics already covered in visual computing, both historically and in current incarnations, demonstrating the improved quality, flexibility, and capability brought by neural fields methods. Finally, we present a companion website that contributes a living version of this review that can be continually updated by the community.

研究动机与目标

• 整合并形式化视觉计算及相关领域中迅速增长的神经场研究文献。
• 识别并统一神经场方法的核心组件，包括表示、条件、前向映射、架构和操作技术。
• 为3D重建、数字人、生成建模、机器人学和音频处理等应用领域建立系统的分类体系。
• 通过创建一个持续更新、由社区维护的知识库，缓解该领域中选择性遗忘和快速过时的问题。
• 建立共享的数学框架与一致的术语体系，以提升神经场研究中的交流效率与教学效果。

提出的方法

• 对视觉计算领域中超过250篇神经场相关论文进行系统性调研，重点关注方法组件与应用领域。
• 将神经场形式化为在空间与时间上连续的、基于坐标的神经网络参数化方法，用于表示物理量。
• 对先验学习技术进行分类与比较，包括局部与全局条件、元学习，以及混合离散-连续表示。
• 识别并分析多种可微分前向映射，如体素渲染、表面渲染以及物理信息PDE。
• 开发一致的符号表示与术语体系，以统一该领域中不同研究工作之间的术语表达。
• 推出一个由社区驱动、支持搜索与筛选的网站，用于托管分类体系，并支持新研究成果的持续贡献与分类。

实验结果

研究问题

• RQ1 哪些核心方法组件能够统一不同应用中多样的神经场方法？
• RQ2 如何从表示、条件、架构和前向映射的角度对神经场进行系统性分类？
• RQ3 在3D重建、数字人、生成建模与机器人学等应用中，有哪些关键趋势与共通原则？
• RQ4 一个持续更新、由社区维护的数据库如何帮助缓解快速发展的领域中的研究重复与选择性遗忘问题？
• RQ5 何种数学与概念框架能够统一视觉计算中神经场的多样化实现形式？

主要发现

• 神经场在3D重建、新视角合成与3D形状生成任务中已达到最先进性能，且在保真度与内存效率方面表现更优。
• 混合离散-连续表示与元学习技术显著提升了神经场学习的鲁棒性与泛化能力。
• 可微分前向映射（如神经辐射场NeRF与物理信息PDE）使得复杂视觉计算任务能够实现端到端优化。
• 社区驱动的网站支持实时研究整理与分类，确保综述内容持续更新且易于访问。
• 神经场现已成功应用于视觉计算之外的领域，包括机器人学、医学影像与音频处理，展现出广泛适用性。
• 统一的数学形式化与一致的术语体系显著提升了跨论文交流效率，并改善了该领域学生的入门体验。