[论文解读] Perception for Autonomous Systems (PAZ)

Octavio Arriaga, Matías Valdenegro-Toro+3 more|arXiv (Cornell University)|Oct 27, 2020

Advanced Neural Network Applications参考文献 23被引用 6

一句话总结

PAZ 是一个用于自主系统的分层感知库，支持模块化、可重用的流水线，适用于多种机器人感知任务，如 2D/3D 目标检测、关键点估计和 6D 姿态估计。它通过三层抽象——流水线、处理器和后端——实现端到端训练与推理，仅需极少代码，利用 TensorFlow、OpenCV 和 NumPy 实现高效、可扩展的感知工作负载。

ABSTRACT

In this paper we introduce the Perception for Autonomous Systems (PAZ) software library. PAZ is a hierarchical perception library that allow users to manipulate multiple levels of abstraction in accordance to their requirements or skill level. More specifically, PAZ is divided into three hierarchical levels which we refer to as pipelines, processors, and backends. These abstractions allows users to compose functions in a hierarchical modular scheme that can be applied for preprocessing, data-augmentation, prediction and postprocessing of inputs and outputs of machine learning (ML) models. PAZ uses these abstractions to build reusable training and prediction pipelines for multiple robot perception tasks such as: 2D keypoint estimation, 2D object detection, 3D keypoint discovery, 6D pose estimation, emotion classification, face recognition, instance segmentation, and attention mechanisms.

研究动机与目标

• 为应对机器人感知系统中日益增长的模块化、可扩展性和可重用性软件基础设施需求。
• 在单一统一框架内支持多样化的感知任务，从 2D 目标检测到 6D 姿态估计。
• 通过分层抽象，使新手和专家用户都能轻松构建、调试和扩展感知流水线。
• 通过围绕可组合、可测试和可维护的组件构建库，提升软件设计的持久性。
• 通过标准化的消息类型和数据集接口，促进与 ROS 和 ROCK 等机器人生态系统的集成。

提出的方法

• 该库分为三个分层结构：高层级流水线用于开箱即用的功能，中层级处理器用于模块化计算链，底层后端用于核心操作。
• 高层级流水线通过简单的函数调用支持端到端推理，例如仅用一行代码即可实例化单次检测器。
• 中层级处理器使用 SequentialProcessor 抽象来串联预处理、数据增强和后处理函数，支持可重用性和自定义。
• 底层后端提供原子化、可重用的函数，用于图像、相机、关键点、边界框和四元数操作，与高层逻辑解耦。
• 该库支持使用与 Keras model.fit 兼容的 SequenceProcessing 生成器实现自动批处理分发，用于训练工作流。
• 内置的消息类型（如 Box2D、Pose6D、Keypoints3D）和数据集接口（COCO、VOC、YCB-Video、FER2013）可实现与机器人框架的无缝集成。

实验结果

研究问题

• RQ1 如何设计感知库，使其在保持模块化和可重用性的同时，支持广泛的机器人感知任务？
• RQ2 分层抽象层在基于机器学习的感知系统中，能在多大程度上提升软件设计的持久性？
• RQ3 一个统一的库是否能有效支持高层级应用部署和底层算法扩展，同时不牺牲灵活性？
• RQ4 如何模块化数据增强、预处理和后处理步骤，以增强感知流水线的可重现性和可调试性？
• RQ5 轻量级依赖栈（TensorFlow、OpenCV、NumPy）对感知库的可移植性和可维护性有何影响？

主要发现

• PAZ 成功实现了 12 种多样化感知任务的端到端训练与推理流水线，包括 2D 关键点估计、6D 姿态估计和情绪分类。
• 该库的分层设计使用户能够通过可重用组件以极少代码构建复杂流水线，例如仅用一行代码即可实例化 SSD512 检测器。
• SequentialProcessor 抽象支持灵活组合数据增强和预处理步骤，实现无需重写逻辑的动态配置。
• PAZ 通过统一接口支持 7 个主要数据集（COCO、VOC、OpenImages、YCB-Video、FAT、FERPlus、FER2013），实现快速数据集集成。
• 该库实现了 47% 的测试覆盖率，并包含自动文档生成、单元测试和跨多个 Python 版本的持续集成。
• PAZ 的后端模块完全解耦，可独立替换或扩展，支持与自定义硬件或软件 API 集成，而不会破坏高层功能。