[论文解读] Stratified Transfer Learning for Cross-domain Activity Recognition

Jindong Wang, Yiqiang Chen+3 more|arXiv (Cornell University)|Dec 25, 2017

Context-Aware Activity Recognition Systems参考文献 33被引用 37

一句话总结

该论文提出了一种新型的跨域活动识别框架——分层迁移学习（Stratified Transfer Learning, STL），通过利用类内亲和性而非依赖全局域偏移来提升分类准确率。通过迭代地利用伪标签和类内知识迁移学习类特定子空间，STL在三个公开数据集上相较于最先进方法实现了7.68%的准确率提升。

ABSTRACT

In activity recognition, it is often expensive and time-consuming to acquire sufficient activity labels. To solve this problem, transfer learning leverages the labeled samples from the source domain to annotate the target domain which has few or none labels. Existing approaches typically consider learning a global domain shift while ignoring the intra-affinity between classes, which will hinder the performance of the algorithms. In this paper, we propose a novel and general cross-domain learning framework that can exploit the intra-affinity of classes to perform intra-class knowledge transfer. The proposed framework, referred to as Stratified Transfer Learning (STL), can dramatically improve the classification accuracy for cross-domain activity recognition. Specifically, STL first obtains pseudo labels for the target domain via majority voting technique. Then, it performs intra-class knowledge transfer iteratively to transform both domains into the same subspaces. Finally, the labels of target domain are obtained via the second annotation. To evaluate the performance of STL, we conduct comprehensive experiments on three large public activity recognition datasets~(i.e. OPPORTUNITY, PAMAP2, and UCI DSADS), which demonstrates that STL significantly outperforms other state-of-the-art methods w.r.t. classification accuracy (improvement of 7.68%). Furthermore, we extensively investigate the performance of STL across different degrees of similarities and activity levels between domains. And we also discuss the potential of STL in other pervasive computing applications to provide empirical experience for future research.

研究动机与目标

• 通过实现从有标签源域到无标签目标域的知识迁移，解决人类活动识别中的标签稀缺问题。
• 克服现有迁移学习方法依赖全局域偏移且忽略类内关系的局限性。
• 开发一种可泛化的框架，通过利用类内亲和性提升跨域设置下的分类鲁棒性与准确率。
• 在真实普适计算应用中，验证STL在不同域相似度和活动复杂度下的有效性。

提出的方法

• 采用多数投票技术为无标签目标域样本生成可靠的伪标签。
• 通过将源域和目标域中对应类对齐至共享的、类特定的子空间，实现迭代类内知识迁移。
• 使用类特定的投影矩阵将源域和目标域均转换至相同的低维子空间，以保持类内紧凑性。
• 基于对齐后的、具备类内感知能力的表示，执行第二次标注步骤以预测目标域的最终标签。
• 引入权衡参数λ和维度m，以平衡域对齐与特征保留，通过实证验证其对m的鲁棒性。
• 设计模块化且可适应的框架，支持根据具体应用场景对各步骤进行定制化调整。

实验结果

研究问题

• RQ1 能否有效利用源域与目标域之间的类内亲和性，以超越全局域偏移的方式提升跨域活动识别性能？
• RQ2 STL在不同域相似度水平和活动复杂度下的性能表现如何变化？
• RQ3 在真实世界HAR数据集上，STL相较于现有最先进迁移学习方法在分类准确率方面优势有多大？
• RQ4 STL对特征空间中所选维度数（m）的变化有多大的鲁棒性？
• RQ5 STL在更广泛的普适计算应用（超越活动识别）中具有怎样的实际意义和泛化能力？

主要发现

• STL在三个大型公开数据集（OPPORTUNITY、PAMAP2和UCI DSADS）上，相较于五种最先进方法，分类准确率显著提升7.68%。
• STL在不同维度超参数m值下表现稳定且持续领先，表明其对特征空间维度变化具有强鲁棒性。
• STL通过显式建模类内关系，优于传统降维技术（如PCA、LLE和KPCA），后者依赖于全局结构而非类内关系。
• 该框架通过聚焦于类特定子空间，有效缓解了域偏移的负面影响，实现了跨域同类样本更紧密的聚类。
• 大量消融实验证实，基于多数投票的伪标签生成与迭代类内对齐是框架成功的关键因素。
• STL在其他普适计算任务中也展现出强大潜力，如跨设备/用户/位置的活动识别、WiFi定位、手势识别以及智能家居传感。