[论文解读] Solving Service Robot Tasks: UT Austin Villa@Home 2019 Team Report

Rishi Shah, Yuqian Jiang+9 more|arXiv (Cornell University)|Sep 14, 2019

Robotics and Automated Systems参考文献 13被引用 4

一句话总结

本文介紹了德克薩斯大學奧斯汀分校Villa@Home 2019團隊利用豐田HSR平台解決多項自主服務機器人任務的方法，整合了感知、導航、操作和人機互動等AI技術。儘管硬體問題導致無法完整展示競賽表現，該團隊在任務執行方面取得顯著進展，特別是在導航、追蹤人員和物體放置方面，突顯了強健、整合型人機互動系統所面臨的關鍵挑戰與未來方向。

ABSTRACT

RoboCup@Home is an international robotics competition based on domestic tasks requiring autonomous capabilities pertaining to a large variety of AI technologies. Research challenges are motivated by these tasks both at the level of individual technologies and the integration of subsystems into a fully functional, robustly autonomous system. We describe the progress made by the UT Austin Villa 2019 RoboCup@Home team which represents a significant step forward in AI-based HRI due to the breadth of tasks accomplished within a unified system. Presented are the competition tasks, component technologies they rely on, our initial approaches both to the components and their integration, and directions for future research.

研究动机与目标

• 開發一個統一的自主服務機器人系統，能夠在RoboCup@Home 2019競賽中執行多樣化的家庭任務。
• 解決多個AI子系統——感知、導航、操作與人機互動——整合至強健、即時系統的挑戰。
• 透過實現響應式、情境感知的行為（如追蹤人員與手勢辨識），推進基於AI的人機互動。
• 在硬體限制下，評估並記錄各組件技術及其整合在現實世界限制下的表現。
• 識別自主服務機器人在非結構化、以人為中心環境中的關鍵研究缺口與未來方向。

提出的方法

• 團隊使用具全向移動底座、4自由度機械臂與RGBD頭部攝影機的豐田HSR機器人，並搭配外部GPU筆電以支援即時深度學習推理。
• 感知任務依賴YOLO進行物體檢測，使用OpenPose進行人體關鍵點估計，並利用LIDAR與融合點雲成本圖進行障礙物與物體定位。
• 導航與路徑規劃基於局部成本圖與A*規劃，移動至目標點的計算方式為沿最短路徑中距離最遠且無碰撞的點。
• 人員追蹤透過行為樹架構實現，協調搜尋與追蹤行為，並使用揮手動作識別目標。
• 針對儲存雜貨與清潔桌面等操作任務，機器人先進行初始定位，再透過感測器融合技術，將自身對齊至可見幾何特徵（如洗碗機角落）以精確調整位置。
• 系統利用語義推理引導物體放置（例如將相似物品分類放置於食品櫃中），並在餐廳任務中使用手勢辨識技術檢測顧客需求。

实验结果

研究问题

• RQ1 如何有效整合多個AI組件（感知、導航、操作與人機互動）至統一、強健的自主服務機器人系統？
• RQ2 在如模擬家庭等非結構化、動態環境中，實現即時、響應式人機互動的關鍵挑戰為何？
• RQ3 當精確定位困難且失敗將導致淘汰時，機器人如何可靠地執行物體放置與取用等操作任務？
• RQ4 行為樹與感測器融合在現實場景中能多大程度提升導航與目標追蹤的可靠性？
• RQ5 對人類偏好（如物體分類）的語義理解在提升服務機器人任務成功率與自然感方面扮演何種角色？

主要发现

• 團隊成功示範了追蹤人員、手勢檢測與物體放置的核心能力，機器人能透過視覺與LIDAR的角落檢測技術定位並對齊至洗碗機。
• 基於行為樹的系統在非擁擠環境中實現了響應迅速且可靠的追蹤人員表現，但在高密度或動態環境中性能下降。
• 透過融合LIDAR與視覺資料，機器人精確對齊至洗碗機，確保物體放置準確無誤，避免被淘汰。
• 使用基於手勢的檢測（如揮手）使機器人能識別餐廳任務中活躍的顧客，進而實現無地圖導航至安全距離。
• 儘管硬體故障導致無法完整展現競賽表現，團隊仍記錄到所有任務的成功試驗，證明其整合方法的可行性。
• 研究強調需改進人員重識別與感測器融合技術，以提升現實世界人機互動應用的強健性。