[论文解读] Optimization-Free Test-Time Adaptation for Cross-Person Activity Recognition

Shuoyuan Wang, Jindong Wang+4 more|arXiv (Cornell University)|Oct 28, 2023

Human Pose and Action Recognition被引用 5

一句话总结

该论文提出了一种无需优化的测试时自适应方法（OFTTA），用于跨个体的基于传感器的人体活动识别，可在边缘设备上实现无参数优化的实时高效自适应。OFTTA采用指数衰减测试时归一化（EDTN）以稳定特征提取，并通过伪标签更新原型分类器，实现在三个HAR数据集及真实边缘硬件上的最先进准确率与计算效率。

ABSTRACT

Human Activity Recognition (HAR) models often suffer from performance degradation in real-world applications due to distribution shifts in activity patterns across individuals. Test-Time Adaptation (TTA) is an emerging learning paradigm that aims to utilize the test stream to adjust predictions in real-time inference, which has not been explored in HAR before. However, the high computational cost of optimization-based TTA algorithms makes it intractable to run on resource-constrained edge devices. In this paper, we propose an Optimization-Free Test-Time Adaptation (OFTTA) framework for sensor-based HAR. OFTTA adjusts the feature extractor and linear classifier simultaneously in an optimization-free manner. For the feature extractor, we propose Exponential DecayTest-time Normalization (EDTN) to replace the conventional batch normalization (CBN) layers. EDTN combines CBN and Test-time batch Normalization (TBN) to extract reliable features against domain shifts with TBN's influence decreasing exponentially in deeper layers. For the classifier, we adjust the prediction by computing the distance between the feature and the prototype, which is calculated by a maintained support set. In addition, the update of the support set is based on the pseudo label, which can benefit from reliable features extracted by EDTN. Extensive experiments on three public cross-person HAR datasets and two different TTA settings demonstrate that OFTTA outperforms the state-of-the-art TTA approaches in both classification performance and computational efficiency. Finally, we verify the superiority of our proposed OFTTA on edge devices, indicating possible deployment in real applications. Our code is available at https://github.com/Claydon-Wang/OFTTA.

研究动机与目标

• 解决推理过程中因个体间分布差异导致的基于传感器HAR性能下降问题。
• 克服基于优化的测试时自适应（TTA）方法计算成本高的问题，后者限制了在资源受限边缘设备上的部署。
• 开发一种高效且硬件友好的TTA框架，在推理过程中无需模型微调或参数优化即可保持高准确率。
• 通过最小化时间和内存开销，实现在Raspberry Pi等边缘设备上的实时自适应。
• 通过结合测试时归一化与基于原型的分类及伪标签技术，确保对未见域的鲁棒性。

提出的方法

• 提出指数衰减测试时归一化（EDTN），将传统批归一化（CBN）与测试时批归一化（TBN）相结合，使TBN的影响在深层网络中呈指数衰减。
• 使用通过伪标签更新的支持集原型，动态调整推理过程中的分类器，避免优化步骤。
• 通过计算输入特征与支持集中最近似原型之间的距离来生成最终预测，实现快速、无参数的推理。
• 通过维护每类特征的运行平均值来构建可靠原型，仅在新伪标签预测置信度较高时才更新。
• 将EDTN与基于原型的自适应整合到统一框架中，实现无需优化的特征提取器与分类器联合自适应。
• 通过避免反向传播与优化循环，设计适用于边缘设备的方法，降低内存与延迟开销。

实验结果

研究问题

• RQ1 无优化的TTA框架是否能在不依赖推理期间参数更新的前提下，在跨个体HAR任务中实现具有竞争力的性能？
• RQ2 EDTN在处理个体间分布差异方面，与传统批归一化和测试时批归一化相比表现如何？
• RQ3 使用伪标签支持集进行分类器自适应对模型准确率与效率有何影响？
• RQ4 OFTTA在Raspberry Pi等真实边缘设备上的推理延迟与内存使用表现如何？
• RQ5 OFTTA是否能在真实HAR应用中有效应对分布偏移，同时避免灾难性遗忘与高计算成本？

主要发现

• OFTTA在三个公开的跨个体HAR数据集上，无论在分类准确率还是计算效率方面，均优于现有的最先进基于优化的TTA方法。
• 在搭载ARM Cortex-A53的边缘设备（如Raspberry Pi）上，OFTTA相较于基于优化的方法，时间与内存开销可忽略不计，后者导致显著延迟与过热。
• 在100次自适应步骤中，OFTTA的CPU温度呈可接受的渐进式上升，而基于优化的方法则导致快速过热与更长的自适应时间。
• EDTN通过在深层网络中逐步减少对测试时统计量的依赖，有效稳定了跨域的特征表示，增强了对分布偏移的鲁棒性。
• 基于原型的分类器结合伪标签技术，实现了无需优化的高准确率、快速推理，在分布偏移下仍保持具有竞争力的性能。
• 在留一法评估中，OFTTA在未见个体上保持了高准确率，表明其在真实场景中具备强大的泛化能力与自适应能力。