[论文解读] ThermoAct:Thermal-Aware Vision-Language-Action Models for Robotic Perception and Decision-Making

Young-Chae Son, Dae-Kwan Ko+2 more|arXiv (Cornell University)|Mar 26, 2026

Multimodal Machine Learning Applications被引用 0

一句话总结

ThermoAct 将热成像数据整合到 Vision-Language-Action 框架中，使用高层次 Vision-Language 模型规划器分解温度感知任务，并由 VLA 执行器执行动作，在热成像启用的场景中实现更安全且任务成功率更高。

ABSTRACT

In recent human-robot collaboration environments, there is a growing focus on integrating diverse sensor data beyond visual information to enable safer and more intelligent task execution. Although thermal data can be crucial for enhancing robot safety and operational efficiency, its integration has been relatively overlooked in prior research. This paper proposes a novel Vision-Language-Action (VLA) framework that incorporates thermal information for robot task execution. The proposed system leverages a Vision-Language Model (VLM) as a high-level planner to interpret complex natural language commands and decompose them into simpler sub-tasks. This approach facilitates efficient data collection and robust reasoning for complex operations. Unlike conventional methods that rely solely on visual data, our approach integrates thermal information, enabling the robot to perceive physical properties and proactively ensure environmental safety. Experimental results from real-world task scenarios validate the feasibility of our proposed framework, suggesting its potential to enhance task success rates and safety compared to existing vision-based systems.

研究动机与目标

• 通过将热感知数据整合到 VLA 系统中，推动更安全、温度感知的机器人任务执行。
• 开发一个分层框架，使 Vision-Language Model (VLM) 规划器能够利用热输入进行推理并分解任务。
• 通过对少量演示数据进行 LoRA 基于微调的 VLA 执行器，实现对热感知操作的鲁棒性与数据效率学习。
• 评估热信息对现实场景中任务成功率、稳定性与安全性的影响。

提出的方法

• 提出 ThermoAct 架构，包含 VLM 规划器（高层推理）和 VLA 执行器（低层控制）。
• 在 VLM 规划器和 VLA 执行器中以 10 Hz 控制频率融合 RGB 与热成像 inputs。
• 将热数据（256x192）转换为 8 位灰度并映射到 INFERNO 调色板以提升学习的感知编码。
• 使用 LoRA 基于微调对每个任务的 50 次演示进行 VLA 执行器的训练，以应对数据受限。
• 在现实世界实验中使用一台 7-DoF Kinova Gen3 Lite 机器人，配备两台 RGB-D 摄像头和一台热成像摄像头。
• 将基于层次的 VLM 规划（ThermoAct）与扁平端到端 VLA 基线进行对比，以评估数据效率与性能。

Figure 1: We propose ThermoAct . (a) illustrates a VLM Planner that decomposes a high-level user instruction into specific sub-task descriptions . (b) depicts a VLA Executor that receives these descriptions as input prompts to predict low-level actions. By leveraging temperature cues from thermal im

实验结果

研究问题

• RQ1 一个热感知的 VLM 规划器是否能够在现实世界环境中将复杂任务分解为对 VLA 执行器有效的子任务？
• RQ2 与仅使用 RGB 的基线相比，纳入热信息是否在数据受限条件下提升任务成功率与安全性？
• RQ3 分层规划方法是否比端到端学习在热感知操作中更具数据效率和鲁棒性？
• RQ4 仅使用热线索的局限性是什么，模态融合如何影响性能与深度感知？

主要发现

• 使用 RGB-T 输入的 ThermoAct 在与热相关的子任务上相较于 RGB 仅基线具有性能提升，在有限热数据下也表现出数据高效的增益。
• 在 Task 1–5 中，RGB-T 相较 RGB-RGB 在子任务的成功率更高，且在热相关任务（如温水、过热电池、关闭直发器）中获得显著提升。
• 在 30、50 和 70 次微调情境下，ThermoAct 在热任务上的整体准确率大致稳定在 50–86%，表明数据增多时学习提升，同时保持对 RGB‑only 模型的竞争力。
• 分层 VLM 规划器加 VLA 执行器实现了鲁棒的长时程任务执行，当端到端学习在扁平化 VLA 中表现不佳（在许多情形几乎无成功）时，优于扁平 VLA。
• 热信息提升了安全导向的决策（如识别热物体、危险状态），并能推广到动态场景如移动电池，尽管深度感知与视场仍是挑战。

Figure 2: Hierarchical Collaboration between VLM Planner and VLA Executor. (a) The VLM Planner receives RGB-Thermal images and a structured guideline prompt containing role definitions and output examples. (b) Based on the thermal information, the VLM analyzes the environment context and decomposes