[论文解读] Penetrative AI: Making LLMs Comprehend the Physical World

Huatao Xu, Liying Han+3 more|arXiv (Cornell University)|Oct 14, 2023

Artificial Intelligence in Law被引用 4

一句话总结

本文提出了「穿透式人工智能」（Penetrative AI）这一新框架，使大型语言模型（LLMs）能够通过处理物联网（IoT）传感器数据——包括文本化与数字化信号——并利用其内置的世界知识，实现对物理世界的感知与推理。结果表明，像ChatGPT-4这样的LLM能够准确地从传感器数据中推断出人类活动与心率，展示了在无需任务特定微调的情况下将LLM整合进信息物理系统（CPS）的巨大潜力。

ABSTRACT

Recent developments in Large Language Models (LLMs) have demonstrated their remarkable capabilities across a range of tasks. Questions, however, persist about the nature of LLMs and their potential to integrate common-sense human knowledge when performing tasks involving information about the real physical world. This paper delves into these questions by exploring how LLMs can be extended to interact with and reason about the physical world through IoT sensors and actuators, a concept that we term "Penetrative AI". The paper explores such an extension at two levels of LLMs' ability to penetrate into the physical world via the processing of sensory signals. Our preliminary findings indicate that LLMs, with ChatGPT being the representative example in our exploration, have considerable and unique proficiency in employing the embedded world knowledge for interpreting IoT sensor data and reasoning over them about tasks in the physical realm. Not only this opens up new applications for LLMs beyond traditional text-based tasks, but also enables new ways of incorporating human knowledge in cyber-physical systems.

研究动机与目标

• 探究LLM是否能够利用其预训练的世界知识，解读真实世界的传感器数据，从而将其能力从基于文本的任务拓展至物理世界。
• 探索LLM如何通过物联网传感器与执行器与物理世界互动，实现在信息物理系统（CPS）中的感知与干预。
• 评估LLM在两种不同信号处理层级上的表现：文本化的传感器状态与原始数字化信号。
• 证明LLM无需大量微调或专用任务模型，即可实现对物理世界的有意义理解。

提出的方法

• 使用特定领域的信号处理技术（如步态检测与滤波）将原始物联网传感器数据（如加速度计、心电图、WiFi、卫星信号）预处理为文本化状态。
• 通过固定的任务导向提示，将文本化的传感器状态输入LLM（如ChatGPT-4），以推断用户活动或生理状态。
• 将原始数字化传感器信号（如心电图波形）直接作为数值序列处理，并通过提示引导LLM分析其模式，推导出心率等物理指标。
• 采用提示工程，结合结构化指令，部分情况下集成模糊逻辑或外部工具（如代码解释器）以提升推理准确性。
• 利用LLM已有的世界知识，将传感器信号模式解释为现实事件的代理，例如行走、跑步或心脏节律。
• 探索与专家模型（如LIMU-BERT）的集成，以在LLM处理前增强特征提取，提升信号理解能力。

实验结果

研究问题

• RQ1 LLM（如ChatGPT-4）是否能够在不进行微调的情况下，从文本化的物联网传感器数据（如步数、信号摘要）中推断出人类活动与环境状况？
• RQ2 LLM在多大程度上能够对原始数字化传感器信号（如心电图波形）进行推理，以提取心率等物理指标？
• RQ3 LLM内置的世界知识如何在与传感器数据结合时，实现对物理现象的准确感知？
• RQ4 LLM在处理传感器信号方面存在哪些局限性？提示设计与外部工具在多大程度上可缓解这些局限？
• RQ5 穿透式人工智能是否可作为实现AGI-Loop信息物理系统的基石，使LLM具备在真实世界中感知与行动的能力？

主要发现

• 如ChatGPT-4等LLM在无需任务特定训练的情况下，凭借其世界知识，能够以高准确率从智能手机传感器的文本化数据中推断出用户活动（如行走、跑步）。
• 该模型成功从原始心电图信号序列中估算出心率，表明LLM能够通过模式识别与上下文推理理解复杂的生理信号。
• 有效的提示设计显著提升了性能，结构化提示使LLM能够从传感器数据中提取出有意义的物理洞察。
• 预处理技术（如滤波与步态检测）的集成提升了信号的可解释性，并增强了LLM输出的可靠性。
• 初步结果表明，LLM能够建立世界知识与传感器数据之间的复杂关联，实现传统上需要专家模型或标注数据集的感知任务。
• 该方法在无需大量重训练的情况下，展示了将LLM部署于信息物理系统的潜力，为AGI-Loop应用提供了可扩展的路径。