[论文解读] NiLBS: Neural Inverse Linear Blend Skinning
NiLBS 提出了一种基于神经网络的逆线性混合蒙皮方法，通过学习从形变空间到静止空间的姿势条件逆映射，实现了在形变姿态下对预计算占据函数的高效查询。该方法使用可学习的权重网络并引入幽灵骨骼进行背景建模，实现了无需从头计算即可准确推断占据状态。
In this technical report, we investigate efficient representations of articulated objects (e.g. human bodies), which is an important problem in computer vision and graphics. To deform articulated geometry, existing approaches represent objects as meshes and deform them using "skinning" techniques. The skinning operation allows a wide range of deformations to be achieved with a small number of control parameters. This paper introduces a method to invert the deformations undergone via traditional skinning techniques via a neural network parameterized by pose. The ability to invert these deformations allows values (e.g., distance function, signed distance function, occupancy) to be pre-computed at rest pose, and then efficiently queried when the character is deformed. We leave empirical evaluation of our approach to future work.
研究动机与目标
- 实现对关节物体在形变姿态下预计算占据函数的高效、实时查询。
- 解决传统线性混合蒙皮（LBS）形变在任意3D点（而不仅是网格顶点）上进行逆向映射的挑战。
- 通过在权重网络中引入幽灵骨骼，提升背景区域处理的鲁棒性。
- 训练神经网络以预测保持几何保真度的同时维持计算效率的逆映射。
- 利用姿势条件神经权重，将LBS泛化至表面顶点之外的体素点。
提出的方法
- 该方法使用带有softmax输出的MLP构建前向形变映射，生成依赖姿态的权重，实现静止空间中任意3D点的LBS式形变。
- 通过学习一个逆函数来反转前向映射，利用相同的神经权重网络将形变姿态中的点映射回其在静止空间中的位置。
- 逆映射以形变姿态中的查询点和姿态参数作为权重网络的输入，避免对未知静止空间坐标的依赖。
- 引入一个‘幽灵骨骼’，其变换从根骨骼克隆而来，通过学习的权重通道显式建模背景区域。
- 通过交叉熵损失联合训练占据预测损失和顶点权重重建损失，以加速收敛。
- 通过将查询点编码至每个骨骼的局部坐标系中，实现‘与刚性结构无关’的姿态表示，简化网络学习。
实验结果
研究问题
- RQ1神经网络能否有效反转线性混合蒙皮变换，将形变空间中的点映射回静止空间？
- RQ2在推理过程中无法访问静止空间坐标的情况下，如何训练逆映射？
- RQ3幽灵骨骼机制是否能改善背景区域的建模并减少占据预测中的伪影？
- RQ4学习姿势条件权重在多大程度上提升了对表面顶点之外点的泛化能力？
- RQ5在占据预测和顶点权重监督上进行联合训练，是否能提升收敛速度和准确性？
主要发现
- 所提出的NiLBS方法成功实现了在任意形变姿态下对预计算静止空间占据函数的高效查询。
- 幽灵骨骼的使用显著减少了背景区域的伪影，通过显式建模‘物体外部’的概念。
- 通过在顶点蒙皮权重上使用交叉熵损失进行联合训练，加速了收敛并提升了权重网络的准确性。
- 该方法将LBS泛化至网格顶点之外的任意3D点，实现了体素占据推断。
- 逆映射具有鲁棒性和可微性，支持使用姿势条件神经权重进行端到端训练。
- 在100个姿态的动画数据集上的实证评估表明，网络能够准确学习形变的逆映射，并以高保真度预测占据状态。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。