[论文解读] RISP: Rendering-Invariant State Predictor with Differentiable Simulation and Rendering for Cross-Domain Parameter Estimation

Pingchuan Ma, Tao Du+3 more|arXiv (Cornell University)|May 11, 2022

Advanced Vision and Imaging被引用 4

一句话总结

本文提出RISP，一种渲染不变的状态预测器，利用可微分模拟与渲染梯度，从未知渲染条件下的视频中估计物理系统参数。通过使用基于渲染梯度的新型损失函数，训练网络以对光照、材质和阴影保持不变，RISP在跨域状态估计、系统辨识、模仿学习和视觉-运动控制任务中均达到最先进性能，且重建误差显著低于以往方法。

ABSTRACT

This work considers identifying parameters characterizing a physical system's dynamic motion directly from a video whose rendering configurations are inaccessible. Existing solutions require massive training data or lack generalizability to unknown rendering configurations. We propose a novel approach that marries domain randomization and differentiable rendering gradients to address this problem. Our core idea is to train a rendering-invariant state-prediction (RISP) network that transforms image differences into state differences independent of rendering configurations, e.g., lighting, shadows, or material reflectance. To train this predictor, we formulate a new loss on rendering variances using gradients from differentiable rendering. Moreover, we present an efficient, second-order method to compute the gradients of this loss, allowing it to be integrated seamlessly into modern deep learning frameworks. We evaluate our method in rigid-body and deformable-body simulation environments using four tasks: state estimation, system identification, imitation learning, and visuomotor control. We further demonstrate the efficacy of our approach on a real-world example: inferring the state and action sequences of a quadrotor from a video of its motion sequences. Compared with existing methods, our approach achieves significantly lower reconstruction errors and has better generalizability among unknown rendering configurations.

研究动机与目标

• 解决在渲染配置（如光照、材质）未知且不可控的情况下，从视频中估计物理系统参数的挑战。
• 克服现有方法依赖已知渲染器或大规模领域自适应数据的局限性。
• 开发一种可微分、端到端的框架，无需访问目标域数据即可在多样化渲染领域间泛化。
• 在渲染与物理动力学复杂且未建模的真实场景中，实现稳健的参数估计。
• 将渲染梯度整合至状态预测网络，以强制实现对渲染变化的不变性。

提出的方法

• 提出一种渲染不变的状态预测器（RISP），将图像差异映射为与渲染配置无关的状态差异。
• 基于渲染参数（如光照、材质）的梯度，提出一种新型损失函数，以在状态预测网络中强制实现不变性。
• 采用二阶优化方法，高效计算渲染方差损失的梯度，使其可集成至深度学习框架。
• 使用领域随机化进行RISP训练，在训练过程中生成多样的渲染条件（光照、背景、材质），以覆盖未知测试配置的分布。
• 利用可微分模拟与渲染，反向传播通过整个流程，实现对状态预测器的端到端优化。
• 将RISP网络集成至下游任务中，如系统辨识、模仿学习与视觉-运动控制，利用可微分动力学。

实验结果

研究问题

• RQ1 是否可以训练神经网络，使其从视频中预测物理系统状态，且对未知的渲染配置（如光照与材质反射率）保持不变？
• RQ2 如何有效利用渲染梯度，在无需访问目标域数据的情况下，强制实现状态预测网络的不变性？
• RQ3 与像素级损失或感知损失相比，将渲染梯度引入损失函数是否能提升在未见渲染领域中的泛化能力？
• RQ4 RISP在具有复杂纹理与未建模动力学的真实世界视频（如飞行四旋翼）中，其泛化能力有多强？
• RQ5 与依赖领域自适应或已知渲染设置的基线方法相比，所提方法在性能上表现如何？

主要发现

• 在所有测试环境与渲染配置下，RISP的重建误差显著低于像素损失与感知损失的基线方法。
• 在模仿学习任务中，RISP相比次优基线方法将状态差异减少了80%以上，手部环境下的平均误差为1.52 ± 0.18。
• 消融实验表明，渲染梯度对性能至关重要，移除后部分任务的误差增加超过10倍。
• 在真实世界四旋翼任务中，RISP成功重建出与参考视频中运动高度匹配的动作序列，尽管存在未建模的气动效应与复杂纹理，仍优于所有基线方法。
• 该方法在未见渲染领域中表现出良好泛化能力，即使训练与测试配置差异显著，仍展现出强鲁棒性。
• 使用二阶梯度可高效稳定地训练渲染方差损失，使其可切实集成至深度学习流水线。