[论文解读] Personalized Activity Recognition with Deep Triplet Embeddings

D. Burns, Cari Whyne|arXiv (Cornell University)|Jan 15, 2020

Context-Aware Activity Recognition Systems被引用 5

一句话总结

本文提出一种基于全卷积神经网络的深度三元组嵌入个性化人体活动识别系统，采用新型基于用户的三元组损失进行训练，以提升泛化能力和分布外检测性能。该方法在三种惯性传感器数据集上显著优于非个性化模型和人工特征基线模型，其中基于用户的三元组损失在整体准确率和鲁棒性方面表现最佳。

ABSTRACT

A significant challenge for a supervised learning approach to inertial human activity recognition is the heterogeneity of data between individual users, resulting in very poor performance of impersonal algorithms for some subjects. We present an approach to personalized activity recognition based on deep embeddings derived from a fully convolutional neural network. We experiment with both categorical cross entropy loss and triplet loss for training the embedding, and describe a novel triplet loss function based on subject triplets. We evaluate these methods on three publicly available inertial human activity recognition data sets (MHEALTH, WISDM, and SPAR) comparing classification accuracy, out-of-distribution activity detection, and embedding generalization to new activities. The novel subject triplet loss provides the best performance overall, and all personalized deep embeddings out-perform our baseline personalized engineered feature embedding and an impersonal fully convolutional neural network classifier.

研究动机与目标

• 解决惯性传感器数据中用户特异性异质性导致的非个性化 HAR 模型性能下降问题。
• 评估学习到的深度嵌入是否在个性化活动识别中优于传统人工特征。
• 研究三元组损失，特别是新型基于用户的三元组选择策略，在训练鲁棒个性化嵌入方面的有效性。
• 通过检测分布外活动（无需微调）实现开放集识别。
• 通过模型紧凑性和高效推理评估其在边缘设备上的可行性。

提出的方法

• 使用全卷积神经网络（FCN）作为主干网络，从惯性传感器时间序列中提取深度嵌入。
• 对比两种训练目标：分类交叉熵损失与一种基于用户三元组的新型三元组损失函数。
• 基于用户的三元组损失通过选择正样本（同一用户、同一活动）、负样本（同一用户、不同活动）以及来自不同用户的难负样本，提升用户间区分能力。
• 个性化推理采用基于用户特定参考嵌入的 k-最近邻（k-NN）搜索，实现开放集识别。
• 在三个公开数据集（MHEALTH、WISDM 和 SPAR）上评估模型性能，指标包括准确率、分布外检测能力及嵌入泛化能力。
• 采用仅约 278,848 个参数的紧凑 FCN 模型，以支持边缘设备部署。

实验结果

研究问题

• RQ1 与交叉熵损失或人工特征相比，使用三元组损失训练深度嵌入是否能提升个性化活动识别性能？
• RQ2 基于用户特定难负样本的新型三元组损失函数是否能增强模型在异质用户间的泛化能力与鲁棒性？
• RQ3 与标准 Softmax 分类器相比，个性化嵌入在检测分布外活动方面表现如何？
• RQ4 在不重新训练的前提下，基于学习嵌入的 k-NN 搜索是否能有效实现开放集识别？
• RQ5 所提出的个性化嵌入方法是否适合在边缘设备上部署？

主要发现

• 新型基于用户的三元组损失在所有三个数据集（MHEALTH、WISDM、SPAR）上均达到最高分类准确率，显著优于交叉熵损失和人工特征基线。
• 所有个性化深度嵌入模型（PEF、PDF、PTN）在准确率和鲁棒性方面均显著优于非个性化全卷积神经网络（FCN）分类器。
• 个性化 k-NN 推理方法实现了有效的分布外活动检测，平均最近邻距离可作为可靠的 OOD 评分。
• FCN 主干模型仅含约 278,848 个参数（约 1 MB），足够紧凑，可支持边缘设备上的实时本地推理。
• 基于用户的三元组策略表现极为有效，优于传统三元组选择方法，且计算高效，无需预先计算嵌入用于三元组选择。
• 尽管参考段与测试段之间时间重叠有限，该方法仍展现出强大的泛化能力，表明在进一步数据收集后具备实际部署潜力。