[论文解读] Vision-Language-Model-Guided Differentiable Ray Tracing for Fast and Accurate Multi-Material RF Parameter Estimation

Zerui Kang, Yishen Lim+4 more|arXiv (Cornell University)|Jan 26, 2026

Millimeter-Wave Propagation and Modeling被引用 0

一句话总结

本论文提出一个由 Vision–Language-Model 指导的框架，用来为可微分光线追踪初始化并选择测量配置，从而在室内场景中实现多材料射频参数估计的更快更准。

ABSTRACT

Accurate radio-frequency (RF) material parameters are essential for electromagnetic digital twins in 6G systems, yet gradient-based inverse ray tracing (RT) remains sensitive to initialization and costly under limited measurements. This paper proposes a vision-language-model (VLM) guided framework that accelerates and stabilizes multi-material parameter estimation in a differentiable RT (DRT) engine. A VLM parses scene images to infer material categories and maps them to quantitative priors via an ITU-R material table, yielding informed conductivity initializations. The VLM further selects informative transmitter/receiver placements that promote diverse, material-discriminative paths. Starting from these priors, the DRT performs gradient-based refinement using measured received signal strengths. Experiments in NVIDIA Sionna on indoor scenes show 2-4$ imes$ faster convergence and 10-100$ imes$ lower final parameter error compared with uniform or random initialization and random placement baselines, achieving sub-0.1\% mean relative error with only a few receivers. Complexity analyses indicate per-iteration time scales near-linearly with the number of materials and measurement setups, while VLM-guided placement reduces the measurements required for accurate recovery. Ablations over RT depth and ray counts confirm further accuracy gains without significant per-iteration overhead. Results demonstrate that semantic priors from VLMs effectively guide physics-based optimization for fast and reliable RF material estimation.

研究动机与目标

• 通过在已知几何结构中准确估计射频材料属性，为6G的电磁数字孪生提供动机。
• 解决在有限测量下，基于梯度的反向光线追踪的不稳定性和高成本问题。
• 利用视觉–语言模型推断材料先验并设计信息量测量配置。
• 将 VLM 先验与可微分 RT 引擎整合，以加速收敛并降低误差。
• 在室内仿真中展示更快的收敛和更低的平均相对误差。

提出的方法

• 使用可微分光线追踪引擎（例如 NVIDIA Sionna）在给定场景几何和材料导电率的情况下对射频传播进行建模。
• 将射频材料估计表述为在多组发射/接收配置下，测量到的接收信号强度与仿真值之间损失的最小化。
• 使用视觉–语言模型从场景图像中提取材料类别，并将其映射到 ITU-R 先验以初始化导电率。
• 使用 VLM 选择信息量高的发射/接收配置，以最大化材料区分度和路径多样性。
• 通过对可微分 RT 计算图进行梯度下降，迭代地细化导电率。
• 分析并优化迭代次数与测量设置的复杂度，以实现实用的收敛性。

Figure 1: Computing time per iteration of the RT engine.

实验结果

研究问题

• RQ1 视觉–语言模型是否能够提供初始化先验，从而改善射频参数估计中反演可微分光线追踪的收敛性？
• RQ2 在 VLM 指导的测量放置下，是否能在减少测量数量的同时维持或提升估计精度？
• RQ3 RT 深度和射线数量对多材料场景的收敛性和最终误差有何影响？
• RQ4 所提出的 VLM 指导框架与随机/均匀初始化和放置相比有何差异？
• RQ5 是否可将语义场景信息联合用于加速基于物理的射频参数推断？

主要发现

• VLM 指导的初始化和放置相比均匀/随机基线实现了 2–4× 的更快收敛。
• 在 VLM 指引下，最终的射频参数估计误差降低 10–100×，在样本数量较少的接收端实现了子 0.1% 的平均相对误差。
• 收敛性和每次迭代成本随材料数量和测量配置的接近线性增长，放置能减少所需测量。
• 增加 RT 深度和射线数量可提升精度，深度越高、射线越多可加速收敛并减少迭代次数。
• VLM 提示能够有效将场景语义映射到导电率先验和信息性 Tx/Rx 配置，提升速度与精度。

Figure 2: Illustration of VLM-guided inverse RT Process.