[论文解读] Unsupervised Human Activity Recognition through Two-stage Prompting with ChatGPT

Qingxin Xia, Takuya Maekawa+1 more|arXiv (Cornell University)|Jun 3, 2023

Context-Aware Activity Recognition Systems被引用 4

一句话总结

本文提出一种两阶段提示工程方法，利用对象使用序列使ChatGPT实现无监督人体活动识别（HAR）。通过首先生成强调区分性对象的活动描述，再通过知识增强提示优化预测，该方法在Opportunity数据集上达到91.15%的F1分数，在50Salads和CMU-MMAC数据集上均达到100%，优于零样本、基于检索和少样本基线方法。

ABSTRACT

Wearable sensor devices, which offer the advantage of recording daily objects used by a person while performing an activity, enable the feasibility of unsupervised Human Activity Recognition (HAR). Unfortunately, previous unsupervised approaches using the usage sequence of objects usually require a proper description of activities manually prepared by humans. Instead, we leverage the knowledge embedded in a Large Language Model (LLM) of ChatGPT. Because the sequence of objects robustly characterizes the activity identity, it is possible that ChatGPT already learned the association between activities and objects from existing contexts. However, previous prompt engineering for ChatGPT exhibits limited generalization ability when dealing with a list of words (i.e., sequence of objects) due to the similar weighting assigned to each word in the list. In this study, we propose a two-stage prompt engineering, which first guides ChatGPT to generate activity descriptions associated with objects while emphasizing important objects for distinguishing similar activities; then outputs activity classes and explanations for enhancing the contexts that are helpful for HAR. To the best of our knowledge, this is the first study that utilizes ChatGPT to recognize activities using objects in an unsupervised manner. We conducted our approach on three datasets and demonstrated the state-of-the-art performance.

研究动机与目标

• 实现无监督人体活动识别（HAR），无需依赖昂贵的人工标注标签。
• 克服现有提示工程在区分相似活动时的局限性，因为对象序列中采用统一的词权重。
• 利用ChatGPT中的预训练知识，基于对象使用自动生成自动、上下文感知的活动描述。
• 通过结构化提示引导ChatGPT关注区分性对象，提升HAR性能。
• 证明两阶段提示工程在无监督设置下生成稳健、可泛化的知识的有效性。

提出的方法

• 第一阶段使用知识生成提示，展示两个相似活动及其关联的对象序列，促使ChatGPT生成强调关键区分性对象的描述性差异。
• 第二阶段采用知识提示工程生成最终的活动预测，将生成的描述作为上下文，并要求提供预测的解释。
• 该方法使用GPT-3.5 text-Davinci-003模型，温度=0，top_p=0.5，以获得确定性输出。
• 以分段时间段内的对象序列为输入，活动类别在提示中提供，用于零样本、少样本或基于检索的基线方法。
• 通过将任务特定知识直接嵌入提示结构，增强上下文的相关性。
• 两阶段流程确保ChatGPT聚焦于具有区分性的特征，从而提升在多样化数据集上的泛化能力。

Figure 1. The overview of the Proposed approach. The pink background rectangles show the input of the model, the orange rectangles show the procedures done by ChatGPT, and the green rectangles show the output results of each prompt for ChatGPT processing.

实验结果

研究问题

• RQ1 大型语言模型如ChatGPT能否有效利用仅有的对象使用序列实现无监督HAR？
• RQ2 如何设计提示工程以提升模型在对象使用重叠情况下区分相似活动的能力？
• RQ3 两阶段提示工程（包括中间知识生成和精细化预测）是否优于标准提示技术，带来更好的HAR性能？
• RQ4 模型能否在无人工标注描述的情况下生成高质量、具有区分性的活动描述？
• RQ5 所提出方法在具有不同程度对象重叠的多样化HAR数据集上是否具备良好的泛化能力？

主要发现

• 所提出的两阶段提示方法在Opportunity数据集上达到91.15%的F1分数，显著优于零样本基线（53.61%）和基于检索的方法（48.19%）。
• 在50Salads数据集上，该方法实现了完美的100.00% F1分数，超越了少样本基线（90.61%）和基于检索的方法（93.87%）。
• 在CMU-MMAC数据集上，该方法达到100.00%的F1分数，优于所有基线方法，包括少样本方法（100.00%）和基于检索的方法（71.05%）。
• Opportunity数据集的混淆矩阵显示，尽管存在高度的对象重叠，该方法仍成功将清理活动与其他活动区分开来，表明其有效聚焦于区分性特征。
• 该方法在具有不同程度对象重叠的数据集上表现出稳健性，表明其在无监督HAR中具备强大的泛化能力。
• 结果表明，通过两阶段提示工程自动生成的知识比人工准备的少样本示例或检索到的知识更有效且更一致，尤其在复杂的真实场景中。

Figure 2. The confusion matrix of comparative prompting methods and the proposed method of Opportunity dataset.