[论文解读] Software Testing, AI and Robotics (STAIR) Learning Lab

Simon Haller-Seeber, Thomas Gatterer+4 more|arXiv (Cornell University)|Apr 6, 2022

Robotics and Automated Systems被引用 4

一句话总结

STAIR学习实验室推出了一款结合物理机器人与仿真环境的双模态机器人平台，集成人工智能、软件测试与K-12 STEM教育。通过自定义Sphero RVR与Lynxmotion机械臂并配合ROS系统，支持使用Teachable Machine、SVM和YOLO模型进行动手式AI训练（如交通标志识别），并实现在数字孪生与真实硬件之间的无缝测试。

ABSTRACT

In this paper we presented the Software Testing, AI and Robotics (STAIR) Learning Lab. STAIR is an initiative started at the University of Innsbruck to bring robotics, Artificial Intelligence (AI) and software testing into schools. In the lab physical and virtual learning units are developed in parallel and in sync with each other. Its core learning approach is based the develop of both a physical and simulated robotics environment. In both environments AI scenarios (like traffic sign recognition) are deployed and tested. We present and focus on our newly designed MiniBot that are both built on hardware which was designed for educational and research purposes as well as the simulation environment. Additionally, we describe first learning design concepts and a showcase scenario (i.e., AI-based traffic sign recognition) with different exercises which can easily be extended.

研究动机与目标

• 通过创建可访问的、实践导向的学习体验，弥合博尔扎诺地区学校在机器人教育与人工智能融合方面的差距。
• 开发一种低成本、稳定且可扩展的机器人平台，结合实体计算与仿真环境，用于教授人工智能与软件测试。
• 通过分层练习（从积木编程到高级机器学习模型部署）支持不同学习水平的学生，在真实与虚拟机器人上均能参与学习。
• 为Sphero RVR与Lynxmotion机械臂建立基于ROS的标准化软件堆栈，以实现可复现、可测试且可扩展的教育工作流程。
• 通过基于证据的课程开发与教师参与的教学材料设计，评估并改进学习成效。

提出的方法

• 设计了一款混合型机器人平台，采用Sphero RVR作为移动基座，Lynxmotion四自由度机械臂实现操作功能，并使用Nvidia Jetson Nano实现机载AI处理。
• 集成Intel RealSense D435深度摄像头以实现三维感知与传感器融合，支持物体检测与SLAM等高级AI任务。
• 构建了标准化的ROS中间件堆栈，统一管理物理与仿真环境中的控制、通信与测试。
• 通过ROS插件支持Visual Studio Code与IntelliJ IDEA，实现在不同环境间的代码执行，并支持多种测试框架的自动化测试。
• 围绕基于AI的交通标志识别设计了多层级学习场景，分别使用Teachable Machine（初学者）、SVM（中级）与YOLO（高级）模型。
• 提供了与物理机器人行为一致的数字孪生仿真环境，支持在物理与虚拟环境中执行相同代码并进行统一测试。

实验结果

研究问题

• RQ1 如何通过统一的物理-仿真机器人平台，支持K-12学校中可扩展的、实践导向的人工智能与软件测试教育？
• RQ2 在使用可访问硬件的前提下，哪些分层学习路径最有效地引导学生从基础模型训练到高级深度学习概念的学习？
• RQ3 基于ROS的中间件如何实现物理与仿真机器人环境中一致、可测试且可扩展的软件开发？
• RQ4 低成本、开源的机器人组件在教育环境中在多大程度上能够支持高级人工智能与软件测试任务？
• RQ5 如何通过教师参与的教学设计与基于证据的评估方法，提升机器人教育项目的有效性？

主要发现

• STAIR学习实验室成功开发出一个功能完整的ROS集成机器人平台，整合Sphero RVR、Lynxmotion机械臂与Jetson Nano，支持实时AI推理与软件测试。
• 该平台支持端到端的AI工作流——从Teachable Machine中的数据采集与模型训练，到在真实与仿真机器人上的部署与测试。
• 通过使用数字孪生技术，实现在不同环境中的代码执行与测试完全一致，显著提升了软件质量并减少了调试时间。
• 分层学习方法使从初学者到高级学习者的学生均可参与AI学习，涵盖从积木编程到YOLO模型训练与评估的全过程。
• 基于ROS的软件堆栈配合Visual Studio Code与IntelliJ IDEA插件，支持自动化测试与版本控制，确保了稳健的软件开发实践。
• 在GMAR暑期学校参与者的初步测试中，验证了平台的可用性，并识别出关键的软件改进点，为未来基于证据的课程开发提供了支持。