[论文解读] NASA: Neural Articulated Shape Approximation
美国国家航空航天局（NASA）提出一种基于姿态条件占用函数的神经隐式表示方法，用于刚性连接的3D形状，通过利用部件级局部坐标系来建模形变，实现了更优的泛化性能。该方法支持可微分的、常数时间的占用查询，仅用极少代码即可实现与基于网格模型相当的追踪性能。
Efficient representation of articulated objects such as human bodies is an important problem in computer vision and graphics. To efficiently simulate deformation, existing approaches represent 3D objects using polygonal meshes and deform them using skinning techniques. This paper introduces neural articulated shape approximation (NASA), an alternative framework that enables efficient representation of articulated deformable objects using neural indicator functions that are conditioned on pose. Occupancy testing using NASA is straightforward, circumventing the complexity of meshes and the issue of water-tightness. We demonstrate the effectiveness of NASA for 3D tracking applications, and discuss other potential extensions.
研究动机与目标
- 以可微分、连续且高效的方式表示如人体等刚性可变形物体的挑战。
- 克服基于网格表示的局限性，如刚性限制、拓扑约束以及空间查询的复杂加速结构。
- 实现无需依赖网格转换或动态空间数据结构的直接、可微分的占用查询。
- 通过结构化神经架构利用身体部件的局部刚性特性，提升对未见姿态的泛化能力。
- 在3D追踪任务中展示该表示的实用性，采用隐式占用模板，避免距离函数的计算。
提出的方法
- 通过神经指示（占用）函数表示3D刚性形状，该函数在物体内部输出1，外部输出0，并以姿态参数为条件。
- 将形状分解为多个身体部件，每个部件具有独立的局部坐标系和可学习的神经占用函数。
- 使用部件级姿态编码器将全局姿态映射为局部形变参数，实现局部非刚性形变建模。
- 通过可微分的组合机制将各部件的占用函数合并，重建完整物体的占用状态。
- 通过避免网格遍历或加速结构，实现在NVIDIA GTX 1080上每查询仅0.06毫秒的常数时间占用查询。
- 在3D追踪中应用该表示，通过在占用模型下对姿态进行最大似然估计来优化，无需计算距离函数。
实验结果
研究问题
- RQ1神经隐式表示能否在泛化性能上优于无结构的姿态条件模型，有效建模刚性3D形变？
- RQ2将部件级局部坐标系作为归纳偏置引入，是否能提升刚性形状表示的学习与泛化能力？
- RQ3可微分的占用查询是否可用于简化并加速经典3D追踪流水线？
- RQ4基于神经占用的追踪器在精度和实现复杂度方面，与基于网格的基线方法相比表现如何？
- RQ5神经隐式模型在无显式网格监督或几何约束的情况下，能在多大程度上捕捉复杂的刚性运动？
主要发现
- NASA在DFaust的'hard'序列上实现了0.948的平均交并比（mIoU），优于以往的几何学习方法，接近基于网格的模型表现。
- NASA在'hard'序列上的Chamfer L1误差为0.00006，显著低于无结构模型的0.00700，表明其重建保真度更优。
- NASA在NVIDIA GTX 1080上实现了每查询仅0.06毫秒的常数时间占用查询，无需使用加速数据结构。
- 可微分的占用模型使3D追踪仅需几行代码即可实现，相较于传统基于网格的追踪流水线实现了显著简化。
- 与无结构模型相比，NASA在未见姿态上的泛化能力更强，同一任务下mIoU性能下降仅49%，而无结构模型下降达49%。
- 该方法成功捕捉了全局形状与形变模式，但仍难以处理高频率几何细节（如面部特征），表明未来可通过先进隐式表示技术进一步改进。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。