[论文解读] Multisensor Online Transfer Learning for 3D LiDAR-based Human Classification with a Mobile Robot

Zhi Yan, Li Sun+2 more|arXiv (Cornell University)|Jan 12, 2018

Video Surveillance and Tracking Methods参考文献 24被引用 6

一句话总结

本文提出了一种在线多传感器迁移学习框架，使移动机器人能够通过基于轨迹概率的半监督学习机制，利用RGB-D相机和2D LiDAR的检测结果，逐步提升其基于3D LiDAR的人体分类器性能。该系统通过随时间融合多传感器数据来提高分类准确率，随着更多传感器的集成，性能持续改善。

ABSTRACT

Human detection and tracking is an essential task for service robots, where the combined use of multiple sensors has potential advantages that are yet to be exploited. In this paper, we introduce a framework allowing a robot to learn a new 3D LiDAR-based human classifier from other sensors over time, taking advantage of a multisensor tracking system. The main innovation is the use of different detectors for existing sensors (i.e. RGB-D camera, 2D LiDAR) to train, online, a new 3D LiDAR-based human classifier, exploiting a so-called trajectory probability. Our framework uses this probability to check whether new detections belongs to a human trajectory, estimated by different sensors and/or detectors, and to learn a human classifier in a semi-supervised fashion. The framework has been implemented and tested on a real-world dataset collected by a mobile robot. We present experiments illustrating that our system is able to effectively learn from different sensors and from the environment, and that the performance of the 3D LiDAR-based human classification improves with the number of sensors/detectors used.

研究动机与目标

• 解决真实世界移动机器人应用中基于3D LiDAR的人体分类标注数据有限的挑战。
• 实现实时在线地利用多个辅助传感器的检测结果，持续改进基于3D LiDAR的人体分类器。
• 开发一种利用跨传感器轨迹一致性来指导半监督学习的框架。
• 在真实世界机器人数据上验证多传感器知识迁移在提升分类性能方面的有效性。

提出的方法

• 该框架使用轨迹概率度量来评估来自辅助传感器（RGB-D、2D LiDAR）的新检测是否可能属于正在进行的人体轨迹。
• 采用半监督学习策略，利用多个传感器的检测结果在线训练基于3D LiDAR的人体分类器。
• 系统融合来自不同传感器和检测器的检测结果，利用轨迹一致性来降低学习过程中的噪声和误报。
• 移动机器人收集真实世界数据，该框架被迭代应用以随时间逐步优化3D LiDAR分类器。
• 该方法通过新观测到的人体轨迹动态更新分类器，从而在无需手动重新标注的情况下提升泛化能力。

实验结果

研究问题

• RQ1 能否通过在线、增量方式，利用多个辅助传感器的检测结果有效训练基于3D LiDAR的人体分类器？
• RQ2 与单传感器基线相比，多传感器的集成如何提升基于3D LiDAR的人体分类性能？
• RQ3 轨迹概率度量在多传感器人体检测中在多大程度上提升了半监督学习的可靠性？
• RQ4 参与贡献的传感器数量如何影响基于3D LiDAR分类器的最终分类准确率？

主要发现

• 所提出的框架通过在线多传感器知识迁移，成功提升了基于3D LiDAR的人体分类器性能。
• 随着参与学习过程的传感器数量增加，分类准确率也随之提高，证明了传感器融合的优势。
• 使用轨迹概率显著增强了半监督学习的可靠性，通过过滤不一致或噪声检测实现。
• 该系统在无需手动重新标注数据的情况下，实现了对新环境和人类行为的有效适应。