[论文解读] Subject Cross Validation in Human Activity Recognition

Akbar Dehghani, Tristan Glatard+1 more|arXiv (Cornell University)|Apr 4, 2019

Context-Aware Activity Recognition Systems参考文献 14被引用 12

一句话总结

本文研究了交叉验证方法对人类活动识别（HAR）性能的影响，表明标准k折交叉验证由于违反独立同分布（i.i.d.）假设，导致准确率被高估10%（使用重叠窗口时最高达16%）。作者提出基于受试者的交叉验证作为更可靠的评估方法，并得出结论：重叠滑动窗口并未提升性能，反而增加了不必要的计算成本。

ABSTRACT

K-fold Cross Validation is commonly used to evaluate classifiers and tune their hyperparameters. However, it assumes that data points are Independent and Identically Distributed (i.i.d.) so that samples used in the training and test sets can be selected randomly and uniformly. In Human Activity Recognition datasets, we note that the samples produced by the same subjects are likely to be correlated due to diverse factors. Hence, k-fold cross validation may overestimate the performance of activity recognizers, in particular when overlapping sliding windows are used. In this paper, we investigate the effect of Subject Cross Validation on the performance of Human Activity Recognition, both with non-overlapping and with overlapping sliding windows. Results show that k-fold cross validation artificially increases the performance of recognizers by about 10%, and even by 16% when overlapping windows are used. In addition, we do not observe any performance gain from the use of overlapping windows. We conclude that Human Activity Recognition systems should be evaluated by Subject Cross Validation, and that overlapping windows are not worth their extra computational cost.

研究动机与目标

• 研究k折交叉验证因受试者特异性数据相关性而高估人类活动识别性能的程度。
• 评估在不同验证方案下，重叠与非重叠滑动窗口对分类器性能的影响。
• 提出基于受试者的交叉验证作为HAR评估中更真实、更稳健的k折交叉验证替代方案。
• 提供公开可用的代码，以提高可复现性，并支持未来HAR验证研究。
• 通过推广透明、方法严谨的评估实践，解决HAR领域的可复现性危机。

提出的方法

• 作者使用Banos等人（2014）提供的基准HAR数据集，包含17名受试者和33种活动。
• 采用非重叠和重叠滑动窗口技术，将传感器数据分割为时间窗口。
• 从每个窗口中提取特征向量，并训练和评估多种分类器（如k-NN、SVM、决策树）。
• 在两种交叉验证方案下，使用F1-score衡量性能：标准k折交叉验证和基于受试者的交叉验证。
• 基于受试者的交叉验证确保任一受试者不会同时出现在训练集和测试集中，从而保持数据独立性。
• 所有实验均使用可复现的代码实现，并通过GitHub公开，以确保透明性和可复现性。

实验结果

研究问题

• RQ1 由于受试者特异性数据相关性，k折交叉验证在多大程度上高估了HAR系统的性能？
• RQ2 在k折交叉验证下，与基于受试者的交叉验证相比，使用重叠滑动窗口如何影响性能估计？
• RQ3 当使用基于受试者的交叉验证时，重叠窗口是否带来可测量的性能提升？
• RQ4 基于受试者的交叉验证是否比k折交叉验证更具可靠性与现实性，作为HAR的评估框架？
• RQ5 使用基于受试者的交叉验证能否减少HAR中分类器性能的高估？

主要发现

• 由于违反i.i.i.d.假设，k折交叉验证使HAR分类器性能被高估约10%。
• 当使用重叠滑动窗口时，k折交叉验证下的性能高估程度上升至16%。
• 在基于受试者的交叉验证下，使用重叠窗口并未带来显著的性能提升。
• 基于受试者的交叉验证提供了一个更真实、更稳健的评估框架，与真实世界部署场景高度一致。
• 重叠窗口使训练时间增加近九倍，但未提升分类准确率。
• 本研究证实，验证方法的选择对性能估计具有决定性影响，k折交叉验证不适用于HAR评估。