[论文解读] See Through Smoke: Robust Indoor Mapping with Low-cost mmWave Radar

Chris Xiaoxuan Lu, Stefano Rosa+6 more|arXiv (Cornell University)|Nov 1, 2019

Indoor and Outdoor Localization Technologies参考文献 77被引用 11

一句话总结

milliMap 是一种基于低成本毫米波雷达的系统，通过结合共置激光雷达的跨模态监督和几何先验，克服毫米波信号稀疏性和多径噪声，实现在浓烟中的鲁棒室内地图构建。其地图重建误差低于0.2米，对门、墙和玻璃等物体的语义分类准确率达约90%，可在应急响应场景中实现实时态势感知。

ABSTRACT

This paper presents the design, implementation and evaluation of milliMap, a single-chip millimetre wave (mmWave) radar based indoor mapping system targetted towards low-visibility environments to assist in emergency response. A unique feature of milliMap is that it only leverages a low-cost, off-the-shelf mmWave radar, but can reconstruct a dense grid map with accuracy comparable to lidar, as well as providing semantic annotations of objects on the map. milliMap makes two key technical contributions. First, it autonomously overcomes the sparsity and multi-path noise of mmWave signals by combining cross-modal supervision from a co-located lidar during training and the strong geometric priors of indoor spaces. Second, it takes the spectral response of mmWave reflections as features to robustly identify different types of objects e.g. doors, walls etc. Extensive experiments in different indoor environments show that milliMap can achieve a map reconstruction error less than 0.2m and classify key semantics with an accuracy around 90%, whilst operating through dense smoke.

研究动机与目标

• 解决在烟雾弥漫的建筑物等低能见度环境中室内地图构建的挑战，传统光学传感器在此类环境中会失效。
• 克服低成本毫米波雷达的局限性，包括点云稀疏和多径噪声高的问题，以实现可靠的制图。
• 利用单个移动机器人平台实现实时、密集的占用栅格地图构建和语义标注（如门、墙、玻璃等）。
• 开发一种可泛化至未见过环境的系统，并支持应急响应人员的重新定位。
• 在极端遮蔽物（如浓烟）条件下展示鲁棒性能，此时传统传感器会失效。

提出的方法

• 在训练阶段利用共置激光雷达提供跨模态监督，使毫米波雷达即使在稀疏且噪声较大的信号下也能学习到准确的几何表征。
• 将室内环境的强几何先验（如垂直墙壁、平面结构）整合进深度学习框架，以正则化地图重建过程。
• 利用毫米波回波的频谱响应作为特征，以区分材料和物体类型，如门、玻璃和墙壁。
• 训练一个生成模型，通过利用空间一致性和结构先验，从稀疏的毫米波点云中合成密集的栅格地图。
• 在嵌入式系统（如树莓派、NVIDIA Jetson TX2）上实现端到端的实时处理流水线，以支持机载地图重建和语义推理。
• 采用多阶段推理流程：首先重建密集的占用栅格地图，然后利用学习到的频谱和空间特征对语义物体进行分类。

实验结果

研究问题

• RQ1 低成本单芯片毫米波雷达能否在浓烟环境下实现地图重建误差低于0.2米的密集室内地图构建？
• RQ2 来自共置激光雷达的跨模态监督与几何先验在多大程度上能缓解毫米波信号稀疏性和多径噪声？
• RQ3 毫米波回波的频谱特征能否实现对室内物体（如门、墙、玻璃）的鲁棒语义分类并达到高准确率？
• RQ4 milliMap 在具有挑战性的遮蔽条件下，对未见过的室内环境的泛化能力如何？
• RQ5 该系统在适用于移动机器人的嵌入式平台上，其实时性能和计算效率如何？

主要发现

• 在浓烟环境下，milliMap 的地图重建误差低于0.2米，证明了即使在毫米波测量稀疏的情况下，仍具有高度的几何保真度。
• 系统对门、墙和玻璃等关键语义物体的分类准确率约为90%，即使在浓烟中也能保持高精度。
• 来自共置激光雷达的跨模态监督与几何先验的结合显著提升了地图质量，有效减少了多径反射引起的伪影。
• 系统可实时运行，地图重建时间在笔记本电脑上最短仅需0.33秒，在Jetson TX2上为0.65秒。
• 语义地图推理极为高效，笔记本电脑上最快仅需0.02毫秒即可完成，支持在移动平台上的实时部署。
• 系统对未见过的环境具有良好的泛化能力，无需微调即可保持高准确率，这对应急响应应用至关重要。