[论文解读] OpenLORIS-Object: A Robotic Vision Dataset and Benchmark for Lifelong Deep Learning

Qi She, Fan Feng+10 more|arXiv (Cornell University)|Nov 15, 2019

Domain Adaptation and Few-Shot Learning参考文献 43被引用 5

一句话总结

本文介绍了 OpenLORIS-Object，这是一个新颖的 RGB-D 数据集与基准，用于持续学习的机器人视觉任务，数据采集自真实世界环境，涵盖光照变化、遮挡和杂乱等动态挑战。在 48 项任务中，使用 9 种最先进持续学习算法进行评估，结果表明前向迁移仍是主要瓶颈，复杂且顺序的场景下整体准确率下降至约 60%，凸显了当前方法在真实世界部署中的脆弱性。

ABSTRACT

The recent breakthroughs in computer vision have benefited from the availability of large representative datasets (e.g. ImageNet and COCO) for training. Yet, robotic vision poses unique challenges for applying visual algorithms developed from these standard computer vision datasets due to their implicit assumption over non-varying distributions for a fixed set of tasks. Fully retraining models each time a new task becomes available is infeasible due to computational, storage and sometimes privacy issues, while naïve incremental strategies have been shown to suffer from catastrophic forgetting. It is crucial for the robots to operate continuously under open-set and detrimental conditions with adaptive visual perceptual systems, where lifelong learning is a fundamental capability. However, very few datasets and benchmarks are available to evaluate and compare emerging techniques. To fill this gap, we provide a new lifelong robotic vision dataset ("OpenLORIS-Object") collected via RGB-D cameras. The dataset embeds the challenges faced by a robot in the real-life application and provides new benchmarks for validating lifelong object recognition algorithms. Moreover, we have provided a testbed of $9$ state-of-the-art lifelong learning algorithms. Each of them involves $48$ tasks with $4$ evaluation metrics over the OpenLORIS-Object dataset. The results demonstrate that the object recognition task in the ever-changing difficulty environments is far from being solved and the bottlenecks are at the forward/backward transfer designs. Our dataset and benchmark are publicly available at at \href{https://lifelong-robotic-vision.github.io/dataset/object}{\underline{https://lifelong-robotic-vision.github.io/dataset/object}}.

研究动机与目标

• 为解决机器人视觉中持续学习缺乏真实、大规模基准的问题，特别是在动态、真实世界条件下。
• 提供一个涵盖机器人部署后所面临全部挑战的数据集，包括光照变化、遮挡、杂乱以及物体尺寸变化。
• 在顺序性、高可变性任务设置下，评估现有持续学习算法的鲁棒性与迁移能力。
• 识别当前持续学习模型中的关键故障模式，特别是在前向迁移和跨多样化视觉分布泛化方面。
• 为未来在机器人视觉应用中比较持续学习算法建立标准化基准。

提出的方法

• 使用配备 RGB-D 相机和 IMU 的移动机器人平台（OpenLORIS）进行数据采集，以捕获高分辨率、时间一致的视频序列。
• 系统性地改变四个关键环境因素——光照、遮挡、物体尺寸和杂乱程度——每个因素设置三个难度级别，共形成 12 个顺序任务。
• 构建一个包含 48 个学习任务（4 个因素 × 12 个难度级别）的基准，并设置 4 项评估指标：准确率、反向迁移（BWT）、前向迁移（FWT）和整体准确率。
• 在 OpenLORIS-Object 数据集上实现并评估 9 种最先进持续学习算法，涵盖单因素与顺序多因素设置。
• 利用视频序列中的时间平滑性，支持目标检测并提升训练与推理过程中的分类鲁棒性。
• 设计一个测试平台，以实现对多样化且不断演变视觉条件下持续学习性能的一致、可复现评估。

实验结果

研究问题

• RQ1 当在具有顺序性、高可变性挑战的真实动态机器人视觉数据集上测试时，现有持续学习算法的表现如何？
• RQ2 在持续机器人目标识别中，前向迁移与反向迁移对整体模型性能的相对贡献是什么？
• RQ3 当算法暴露于多个按顺序引入的环境因素（如光照、遮挡、杂乱）时，其性能退化程度如何？
• RQ4 尽管内存成本高，累积微调方法作为性能上限在此基准中表现如何？
• RQ5 当前持续学习模型在真实世界机器人视觉中的主要故障模式是什么，特别是在开放集和非平稳分布偏移条件下？

主要发现

• 光照因素最具挑战性，所有算法的前向迁移（FWT）准确率始终在 40% 至 50% 之间，严重限制了整体性能。
• 在顺序多因素学习场景中，整体准确率下降至约 60%，而单因素评估中超过 80%，表明在复杂性增加时性能急剧下降。
• 大多数算法的反向迁移（BWT）表现良好，但前向迁移始终微弱，暴露出当前持续学习模型在设计上的关键缺陷。
• 累积微调基线方法达到了最高性能，但由于任务数量增加导致内存线性增长，因此在真实世界部署中不可行。
• 现有最先进算法在面对包含多种环境变化的长顺序任务流时，表现出较差的鲁棒性与稳定性。
• 结果表明，动态真实世界环境中持续目标识别问题仍未解决，前向迁移能力是主要瓶颈。